Индексация сайта: как ускорить и что ей мешает

Можно написать отличную статью, оформить идеальную карточку товара или запустить новую услугу — и не получить ни одного посетителя из поиска, потому что страница так и не попала в индекс. Индексация — первое звено в цепочке «страница → поиск → клиент», и если оно не работает, всё остальное SEO бессмысленно. Разберём, как устроен процесс, где он чаще всего ломается и как его ускорить.

Как поисковик находит и индексирует страницы

Индексация проходит в несколько этапов. Сначала робот узнаёт о существовании адреса: из ссылки на другой странице, из карты сайта, из уведомления через панель вебмастера или специальный протокол. Затем адрес ставится в очередь на обход. Когда очередь доходит, робот загружает страницу, получает код ответа и содержимое. Дальше поисковая система анализирует страницу: определяет основной контент, проверяет на дубли, оценивает качество. И только после этого принимает решение — добавить страницу в индекс или нет.

Ключевой момент, который часто упускают: робот обошёл страницу — не значит, что она в индексе. Поисковики не обязаны индексировать всё, что нашли. Страницы, которые признаны дублями, малоценными или недостаточно полезными, отбрасываются. В панели Яндекс Вебмастера такие страницы видны в разделе исключённых с пометкой вроде «недостаточно качественная» или «дубль», в Google Search Console — как «просканирована, но пока не проиндексирована».

Ещё одно понятие — краулинговый бюджет. Это условное количество страниц, которое робот готов обойти на вашем сайте за определённое время. Для сайта на 50 страниц оно не играет роли. Для магазина на 30 000 товаров с фильтрами, порождающими сотни тысяч адресов, — играет, и ещё как: робот может месяцами обходить мусорные страницы, не добираясь до новых товаров.

Как проверить, что проиндексировано

Самый надёжный источник — панели вебмастеров. В них видно общее число страниц в поиске, динамику, список исключённых страниц с причинами и дату последнего обхода конкретного адреса. Там же можно проверить статус отдельной страницы: знает ли о ней поисковик, когда обходил и проиндексировал ли.

Быстрая грубая проверка — оператор site: в поисковой строке, например «site:вашсайт.ru/catalog/». Он показывает примерное число страниц раздела в индексе, но цифры приблизительны и иногда сильно расходятся с реальностью. Для точной картины — только панели вебмастеров.

Полезно регулярно сравнивать три числа: сколько страниц у вас реально существует и должно быть в поиске, сколько адресов в карте сайта и сколько страниц в индексе. Если в индексе в три раза больше страниц, чем на сайте, — у вас дубли. Если в два раза меньше — проблема с доступностью или качеством.

Что мешает индексации

Причины можно разделить на две большие группы: робот не может попасть на страницу или не хочет её индексировать. Первые обычно технические и исправляются быстро. Вторые связаны с качеством и требуют больше работы.

Технические запреты

Самая частая и самая обидная причина — страница закрыта случайно. Директива Disallow в robots.txt, оставшаяся после разработки. Мета-тег noindex в шаблоне, который задел больше страниц, чем планировалось. Canonical, указывающий на другую страницу. Пароль на тестовом домене, который забыли снять при переносе. Мы видели магазин, который три месяца после запуска был полностью закрыт от индексации одной строкой в robots.txt, — и владельцы искали причину отсутствия трафика в текстах.

Ошибки сервера и медленные ответы

Если сервер периодически отдаёт ошибки 5xx или отвечает дольше нескольких секунд, робот снижает частоту обхода, чтобы не нагружать сайт. В итоге новые страницы ждут своей очереди неделями. Проверьте в панели вебмастера статистику обхода: сколько запросов робот делает в день и сколько из них заканчиваются ошибками.

Контент, который не видит робот

Если основной текст страницы подгружается скриптом после загрузки или по нажатию кнопки, робот может увидеть пустой шаблон. Современные поисковики умеют выполнять JavaScript, но делают это с задержкой и не всегда полностью. Для сайтов на React или Vue без серверного рендеринга это регулярная проблема: страница проиндексирована, но с пустым содержимым.

Дубли и малоценные страницы

Карточки товаров с одинаковым описанием от производителя, страницы фильтров с тремя товарами, теги блога с одной статьёй, пустые категории — поисковик видит, что такие страницы не добавляют ничего нового, и исключает их. Это не наказание, а оптимизация индекса. Но если таких страниц на сайте большинство, это влияет и на отношение к сайту в целом.

Страницы-сироты и глубокая вложенность

Страница, на которую нет внутренних ссылок, обнаруживается только через карту сайта, и робот считает её маловажной. То же самое со страницами на седьмом-восьмом уровне вложенности. Решение — грамотная перелинковка, о ней подробно в статье Внутренняя перелинковка: правила и примеры.

Диагностика по шагам

Когда конкретная страница не попадает в индекс, удобно идти по цепочке от простых причин к сложным. Это экономит время: в большинстве случаев проблема находится на первых шагах.

1. Проверьте статус в панели вебмастера

   Знает ли поисковик об адресе, когда последний раз обходил, какая причина исключения указана. Часто ответ виден сразу.

2. Проверьте код ответа и доступность

   Страница должна отдавать 200 без редиректов. Посмотрите, не закрыт ли адрес в robots.txt и нет ли noindex в коде или HTTP-заголовках.

3. Проверьте canonical

   Атрибут должен указывать на саму страницу. Если он ведёт на категорию или главную, поисковик проиндексирует их вместо этой страницы.

4. Посмотрите страницу глазами робота

   Инструменты панелей вебмастеров показывают, как робот видит страницу после рендеринга. Если основного текста нет — проблема в JavaScript.

5. Оцените уникальность и полезность

   Сравните страницу с похожими на сайте и в выдаче. Если она повторяет чужой или собственный контент, нужно добавить уникальную ценность.

6. Проверьте ссылки на страницу

   Есть ли на неё ссылки из меню, категорий, статей. Если нет — добавьте хотя бы две-три из тематически близких разделов.

Как ускорить индексацию

Когда базовые проблемы устранены, можно помочь поисковику находить новое быстрее. Особенно это важно для магазинов с частым обновлением ассортимента, новостных разделов и сайтов, где своевременность важна для продаж — например, при сезонных распродажах.

Отдельно — оптимизация краулингового бюджета. Закройте от обхода всё, что не должно быть в поиске: сортировки, параметры, служебные разделы, бесконечные календари и архивы. Ускорьте ответ сервера. Уберите цепочки редиректов и внутренние ссылки на несуществующие страницы. Чем меньше робот тратит ресурсов на мусор, тем быстрее он доходит до важного.

Индексация нового сайта и после переезда

Новый домен без истории и внешних ссылок индексируется медленнее. Первые страницы могут появиться в поиске через несколько дней, но полностью сайт на сотни страниц войдёт в индекс за несколько недель. Ускорить процесс помогает подготовка до запуска: правильный robots.txt, карта сайта, подтверждение прав в панелях вебмастеров в день запуска, отсутствие дублей и пустых страниц с первого дня. Всё это входит в нашу SEO-подготовку при запуске.

При переезде на новый домен или новую структуру адресов индексация проходит заново. Здесь критичны 301-редиректы со всех старых адресов, указание переезда в панелях вебмастеров и сохранение старой карты сайта на какое-то время, чтобы робот быстрее прошёл по редиректам. В переходный период число страниц в индексе может колебаться — это нормально, если через 4–8 недель оно возвращается к прежнему уровню.

Когда страницы выпадают из индекса

Бывает и обратная ситуация: страницы были в поиске, а потом исчезли. Резкое падение числа проиндексированных страниц — тревожный сигнал, который нужно разбирать сразу. Типичные причины: релиз, который добавил noindex или сломал canonical; проблемы с хостингом и массовые ошибки сервера; изменение структуры адресов без редиректов; взлом сайта с подменой контента; признание большого количества страниц малоценными после обновления алгоритмов.

Постепенное снижение — чаще вопрос качества: страницы устаревают, товары заканчиваются, а описания остаются пустыми. Здесь помогает регулярная работа с контентом и удаление или объединение слабых страниц. Если у вас нет ресурса следить за этим самостоятельно, этим можно заниматься в рамках технической поддержки — с ежемесячным отчётом по индексации.

Что важно запомнить

Индексация — это не автоматическая формальность, а результат работы поисковика, который оценивает доступность и полезность каждой страницы. Большинство проблем решается проверкой простых вещей: robots.txt, мета-тегов, canonical, кодов ответа и внутренних ссылок. Сложнее с качеством: дубли и пустые страницы исключаются из индекса, пока на них не появится уникальная ценность.

Следите за динамикой в панелях вебмастеров хотя бы раз в неделю, особенно после любых обновлений сайта. Держите карту сайта актуальной, подключите уведомление поисковиков о новых страницах и не позволяйте мусорным адресам съедать краулинговый бюджет. Тогда новые страницы будут попадать в поиск за дни, а не за месяцы.