Google знаходить URL, переходячи за посиланнями, зчитуючи інформацію із файлів Sitemap, а також іншими способами. Google сканує інтернет, щоб знайти нові веб-сторінки, та по можливості індексує їх. Пошуковий робот – спеціальна програма, яка сканує (переглядає) сторінки в інтернеті та індексує їх.
Одна з найпоширеніших причин, через яку сайт не індексується ― заборона на індексацію у файлі robots. txt. Часто розробники сайту зберігають тестову версію на окремих доменах чи піддоменах. Тестовий сайт закривають від індексації за допомогою robots.
Індексація сайту в Яндексі відразу після запуску може зайняти до 1 місяця, а в Google – до 1 тижня.