Почему сайт не виден в поиске: как найти причину

Если сайт не виден в поиске, сначала нужно определить, что именно произошло. Страница может вообще отсутствовать в индексе Яндекса или Google, а может быть проиндексирована, но не показываться по тем запросам, по которым её ищут.

Это две разные ситуации.

- В первом случае проверяют доступность сайта для поисковых роботов, технические запреты, ответы сервера, sitemap и канонические адреса. 

- Во втором разбираются с поисковым спросом, содержанием страницы, структурой сайта и конкуренцией в выдаче.

Поэтому начинать с переписывания текстов, покупки ссылок или смены хостинга без диагностики обычно рано.

Сначала определите, страницы не индексируются или не получают видимость

Индексация означает, что поисковая система обнаружила страницу, обработала её и может использовать в поисковой выдаче.

Видимость отвечает уже на другой вопрос. Показывается ли эта страница по конкретным запросам и на каких позициях.

Например, сайт компании может находиться по названию бренда и иметь десятки страниц в индексе, но не появляться по запросу, связанному с основной услугой. Технически такой сайт уже присутствует в поиске. Причину нужно искать в соответствии страницы запросу, её содержании, структуре сайта и конкурентной среде.

Возможна обратная ситуация. Новая страница опубликована и открывается по прямой ссылке, но поисковая система её ещё не добавила в индекс. Тогда сначала нужно выяснить, может ли робот нормально получить страницу и нет ли запрета на индексирование.

Проверять Яндекс и Google лучше отдельно. У поисковых систем собственные роботы, индексы и инструменты диагностики, поэтому наличие страницы в одной системе не гарантирует такого же состояния в другой.

Почему страница может отсутствовать в индексе

Когда нужного URL действительно нет в индексе, проверку имеет смысл начинать с технических причин.

Поисковому роботу запрещён доступ

После разработки или крупных изменений на сайте иногда остаются ограничения, которые использовались на тестовой версии.

В robots.txt может быть закрыт раздел или весь сайт. На самой странице может находиться директива noindex. Аналогичное указание можно передать через HTTP-заголовок X-Robots-Tag.

Это разные механизмы, поэтому проверять только одну настройку недостаточно.

Особенно внимательно такие ограничения стоит контролировать после переноса с тестового домена, смены CMS, редизайна или массового обновления страниц.

Сервер неправильно отвечает поисковому роботу

Страница может нормально открываться у владельца сайта, но периодически отдавать ошибки поисковым системам.

Причиной бывают ошибки 5xx, нестабильность сервера, неправильная конфигурация защиты от ботов, проблемы DNS и другие технические ограничения.

Если робот регулярно не может получить содержимое, одного успешного открытия страницы в браузере недостаточно. Нужно смотреть HTTP-ответ и данные инструментов для вебмастеров.

При повторяющихся серверных проблемах полезно отдельно оценить хостинг и серверную инфраструктуру. Но менять тариф или переносить сайт только из-за отсутствия позиций в поиске не стоит.

На сайте есть проблемы с URL и canonical

Одинаковое или почти одинаковое содержимое иногда доступно по нескольким адресам. Такое бывает после изменения структуры, появления параметров, работы фильтров или некорректного переноса страниц.

В этом случае поисковой системе приходится определять основной URL.

Для этого используются постоянные редиректы, rel="canonical", внутренние ссылки и другие сигналы. В sitemap также желательно указывать именно те URL, которые должны считаться основными.

Проблема возникает, когда эти сигналы противоречат друг другу. Например, canonical ведёт на один адрес, внутренняя ссылка на другой, а sitemap содержит третий.

После переноса или изменения структуры сайта такие ситуации нужно проверять особенно внимательно.

Страница плохо связана с остальным сайтом

Поисковые роботы находят URL в том числе переходя по внутренним ссылкам.

Если новая страница существует технически, но на неё практически невозможно попасть через структуру сайта, поисковику сложнее обнаружить её и понять её место среди других материалов.

Sitemap помогает сообщить поисковой системе о существующих URL, особенно на больших сайтах и при глубокой структуре. Но наличие адреса в sitemap само по себе не гарантирует индексирование.

Карта сайта должна дополнять нормальную внутреннюю структуру, а не заменять её.

Робот обнаружил страницу, но она не попала в поиск

Отсутствие технического запрета ещё не означает автоматического появления URL в выдаче.

Поисковая система оценивает саму страницу, её связь с другими материалами, возможное дублирование и содержимое. Поэтому ситуация «робот страницу видел, но в поиске её нет» требует более глубокого анализа.

У одного сайта причиной окажутся несколько почти одинаковых URL, у другого слабая страница категории, у третьего проблемы со структурой после переноса. Универсальной причины здесь нет.

Сайт проиндексирован, но его нет по нужным запросам

Если нужные страницы присутствуют в индексе, постоянно отправлять их на переобход обычно бессмысленно. Нужно разбираться, почему по конкретному запросу поисковая система выбирает другие документы.

Под запрос нет подходящей страницы

Компания может предлагать несколько услуг, но пытаться продвигать их общей страницей «Услуги». Бывает и наоборот. На одной посадочной одновременно описаны направления с разным поисковым спросом.

Поисковой системе в такой ситуации сложнее сопоставить конкретный запрос с конкретным URL.

Есть и обратная крайность. Под близкие формулировки создаётся множество почти одинаковых страниц. Они пересекаются по смыслу и могут начать конкурировать между собой.

Поэтому запросы сначала группируют по намерению пользователя, а затем распределяют между страницами.

Страница отвечает не на тот поисковый интент

Совпадения слов недостаточно.

Если человек ищет причину, почему сайт не индексируется, ему нужна диагностика. По запросу «SEO-продвижение сайта» задача уже другая: пользователь изучает услугу или сравнивает подрядчиков.

Одна страница редко одинаково хорошо решает обе задачи. Информационный материал должен помогать разобраться в проблеме, а страница SEO-продвижения рассказывает о составе работ, процессе и условиях сотрудничества.

Контент не отвечает на основные вопросы пользователя

Проблема не обязательно в количестве текста.

Большой материал тоже может плохо отвечать на запрос, если в нём много общих рассуждений и мало информации, которая нужна пользователю.

Для коммерческой страницы это могут быть состав услуги, ограничения, стоимость или принцип её расчёта, примеры работ и условия сотрудничества. Для информационной статьи важнее ясный ответ на вопрос, объяснение причин и критерии, по которым можно оценить ситуацию.

Подробнее эту задачу мы разбирали в материале о контенте, который помогает клиенту принять решение.

Техническое состояние мешает странице работать нормально

Скорость, мобильная версия и стабильность сайта имеют значение, но не объясняют любое отсутствие позиций.

Медленная загрузка может ухудшать пользовательский опыт и мешать нормальной работе страницы. Однако из этого не следует, что любой сайт без поисковой видимости достаточно ускорить.

При проблемах с производительностью сначала определяют источник задержки:

• сервер,
• изображения,
• шрифты,
• JavaScript,
• сторонние сервисы,
• устройство самой страницы.

Эту тему подробнее разбираем в статье о скорости загрузки сайта.

Конкуренты лучше отвечают на запрос

Даже технически исправная и проиндексированная страница не получает гарантированной позиции.

По конкретному запросу поисковая система выбирает между множеством документов. Поэтому полезнее сравнивать конкретную страницу с результатами выдачи, а не с абстрактным набором «требований SEO».

Нужно смотреть, какой тип страниц находится в поиске, насколько полно они решают задачу пользователя, какую информацию дают для принятия решения и есть ли у вашей страницы самостоятельная ценность.

Особенно это заметно в коммерческих тематиках, где одной технической оптимизации недостаточно.

Как искать причину по порядку

Диагностику удобно разделить на пять этапов.

1. Определить состояние страницы в поиске. Посмотреть URL в Яндекс Вебмастере и Google Search Console. Проверить стоит не только главную, но и важные посадочные страницы.

2. Проверить доступность для роботов. Посмотреть robots.txt, meta robots, X-Robots-Tag, HTTP-ответ, редиректы и canonical.

3. Разобраться со структурой. Важные URL должны быть связаны с другими страницами сайта и присутствовать в актуальном sitemap. После переноса или изменения структуры отдельно проверяют старые адреса, редиректы и дубли.

4. Определить задачу каждой страницы. Если URL находится в индексе, нужно понять, под какой пользовательский интент он создан и соответствует ли ему содержимое.

5. Сравнить страницу с поисковой выдачей. После технической проверки становится понятнее, чего действительно не хватает: структуры, содержания, доказательств, локальной релевантности, ссылочных сигналов или других элементов продвижения.

Сначала нужно найти этап, на котором теряется страница. Иначе можно месяцами улучшать контент, когда поисковому роботу мешает техническая ошибка, или проверять robots.txt у сайта, который давно проиндексирован и просто не получает позиций.

Что отслеживать после исправлений

Сам факт появления страницы в индексе ещё не показывает результат SEO.

После технических изменений имеет смысл контролировать состояние важных URL и причины их исключения. Когда проблемы с индексированием устранены, внимание переносится на показы по целевым запросам, позиции, органические переходы и действия посетителей.

Для бизнеса конечный результат находится ещё дальше. Важны обращения, заказы и другие целевые действия.

Поэтому рост числа проиндексированных страниц полезен тогда, когда в поиск попадают действительно нужные посадочные и информационные материалы.

Когда нужен более глубокий SEO-разбор

Отдельную ошибку иногда можно обнаружить быстро. Например, если важный раздел случайно закрыли от роботов.

Сложнее ситуация, когда:

• страницы присутствуют в индексе, но месяцами почти не получают показов,
• после редизайна изменилась структура URL,
• часть страниц выпала из поиска,
• разные разделы сайта конкурируют за одинаковые запросы.

Проверка одного robots.txt здесь уже ничего не объяснит. Приходится одновременно смотреть техническое состояние, структуру, семантику, содержимое страниц и данные поисковых систем.

Частые вопросы

- Почему сайт находится по названию компании, но не по услугам?

Поиск по названию компании показывает, что поисковая система уже знает сайт. Если при этом его нет по запросам услуг, нужно анализировать соответствующие посадочные страницы, их содержание, поисковый интент, структуру и конкуренцию в выдаче.

- Почему страница есть в sitemap, но отсутствует в поиске?

Sitemap сообщает поисковой системе об URL, но не гарантирует его индексирование. Причина может быть в доступности страницы, выборе другого канонического URL, дублировании или других факторах. Точный статус лучше смотреть в инструментах для вебмастеров.

- Поможет ли повторная отправка страницы на переобход?

Переобход помогает сообщить поисковой системе о новой или изменённой странице, но не исправляет причину, по которой URL не индексируется или не получает видимость. Если проблема сохраняется, повторная отправка сама по себе её не устранит.

- Нужно ли покупать ссылки, если сайт не виден?

До диагностики такой вывод делать рано. Если робот не может получить страницу, она закрыта от индексирования или поисковик считает основной другой URL, работа со ссылочной массой не исправит техническую причину.

- Через сколько сайт должен появиться в поиске?

Универсального срока нет. Скорость обнаружения, обхода и индексирования зависит от поисковой системы, самого сайта и конкретной страницы. Поэтому ориентироваться лучше на фактический статус URL в инструментах для вебмастеров, а не на обещанный срок.