Резкое падение трафика из поиска — одна из самых неприятных ситуаций для владельца сайта. Иногда выясняется, что страницы не просто опустились в выдаче, а исчезли из индекса полностью. Причины могут быть совсем разными: от случайно оставленного запрета в настройках до санкций поисковой системы. Хорошая новость в том, что большинство проблем можно диагностировать и исправить. Разберем основные причины и порядок действий.
Как понять, что сайт выпал из индекса
Прежде чем паниковать, нужно убедиться, что проблема действительно в индексации. Падение трафика может быть вызвано сезонностью, изменением спроса, проблемами со счетчиком аналитики или потерей позиций без выпадения из индекса.
Проверить индексацию можно несколькими способами. В панели вебмастера есть отчет о страницах в поиске: он показывает, сколько документов проиндексировано, какие были исключены и по какой причине. Это главный и самый надежный источник. Дополнительно можно ввести в поиск точное название страницы или фрагмент уникального текста в кавычках и посмотреть, находится ли она.
Читайте также: Мессенджеры как канал продаж
Важно различать масштаб проблемы. Если из индекса пропали отдельные страницы, причина, скорее всего, локальная: дубли, низкое качество, ошибки на конкретных адресах. Если пропал весь сайт или большая его часть, следует искать глобальную причину: технический сбой, запрет индексации, санкции.
Технические причины
Чаще всего сайт выпадает из индекса не из-за санкций, а из-за технических ошибок, допущенных при обновлении сайта или его переносе.
Запрет в robots.txt
Во время разработки сайт часто закрывают от индексации, чтобы поисковики не увидели незаконченную версию. Затем сайт запускают, но запрет забывают снять. Или при переносе на новый сервер копируют файл robots.txt с тестовой площадки. Одна строка с запретом на весь сайт способна за несколько недель вывести его из поиска.
Метатег noindex
Аналогичная ситуация с метатегом, который запрещает индексацию страницы. Его могут добавить на уровне шаблона, и он появится на всех страницах сразу. Некоторые системы управления сайтом имеют галочку «скрыть сайт от поисковиков», которую легко включить случайно.
Ошибки сервера
Если робот при обходе получает ошибки сервера или страница долго не отвечает, поисковик через некоторое время начинает исключать такие адреса. Причины — перегрузка хостинга, сбои в базе данных, блокировка роботов защитными системами.
Неправильные редиректы и canonical
При смене структуры адресов или переходе на защищенный протокол страницы могут перенаправляться неправильно: по цепочке, циклично или на главную. Ошибочный canonical, указывающий на другую страницу, заставляет поисковик считать ваш документ неосновной копией.
Блокировка роботов
Иногда защита от ботов или фаервол хостинга начинает блокировать и поисковых роботов. Сайт открывается для людей, но поисковик видит ошибку доступа.
После любого переезда, редизайна или смены движка первым делом проверьте robots.txt, метатеги роботов и ответы сервера. Большая часть внезапных выпадений из индекса связана именно с этими тремя пунктами.
Причины, связанные с контентом
Если технически все в порядке, но страницы исключаются, стоит посмотреть на их содержимое и на причины исключения в панели вебмастера.
- Дубли. Одинаковые или почти одинаковые страницы, из которых поисковик оставляет в индексе одну, а остальные исключает.
- Малоценные страницы. Страницы с минимумом уникального содержания: пустые категории, теги, автоматически сгенерированные подборки, карточки без описания.
- Неканонические копии. Версии с параметрами, страницы пагинации, адреса с завершающим слешем и без него.
- Заимствованный контент. Тексты, скопированные с других сайтов или собранные из чужих материалов. Поисковик может не видеть смысла показывать еще одну копию.
- Перенасыщение ключевыми словами. Тексты, написанные для робота, а не для людей.
Исключение из индекса малоценных страниц — нормальный процесс, и оно не всегда проблема. Если исключены страницы фильтров без спроса или служебные разделы, это даже полезно. Опасно, когда исключаются страницы, которые должны приносить трафик.
Санкции поисковых систем
Санкции — ограничения, которые поисковая система накладывает на сайт за нарушение правил. Они могут понижать сайт в выдаче или исключать его страницы. Основные поводы для санкций:
- покупка ссылок для манипуляции ранжированием;
- накрутка поведенческих факторов;
- скрытый текст и маскировка содержимого для роботов;
- агрессивная реклама, мешающая пользоваться сайтом;
- вредоносный код и взлом;
- обман пользователей, например, подмена содержимого или фишинг;
- массовая генерация бесполезных страниц.
О некоторых санкциях поисковик сообщает напрямую в панели вебмастера в разделе безопасности и нарушений. Обязательно проверяйте этот раздел при любом резком падении. Если санкций там нет, но есть подозрения на алгоритмическое понижение, сопоставьте падение с вашими действиями: не закупались ли ссылки, не использовались ли сервисы накрутки.
Взлом сайта
Отдельный случай — заражение сайта вредоносным кодом. Злоумышленники размещают на взломанном сайте скрытые ссылки, страницы со спамом или перенаправления на сторонние ресурсы. Поисковик помечает сайт как опасный, и трафик резко падает. Признаки взлома: появление незнакомых страниц в индексе, странные заголовки на иностранных языках в выдаче, предупреждения в панели вебмастера.
Пошаговый план диагностики
Чтобы не действовать наугад, полезно проверять возможные причины в определенном порядке.
- Откройте панель вебмастера. Посмотрите отчеты об индексации, исключенных страницах, нарушениях и безопасности.
- Проверьте robots.txt. Нет ли запрета для всего сайта или важных разделов.
- Проверьте метатеги роботов на нескольких типовых страницах.
- Проверьте ответы сервера. Возвращают ли страницы успешный код ответа, нет ли редиректов на главную.
- Проверьте canonical. Указывает ли он на саму страницу, а не на другую.
- Сопоставьте даты. Что менялось на сайте перед падением: обновление движка, переезд, новые плагины, изменения структуры.
- Проверьте сайт на вредоносный код с помощью антивирусных сканеров и анализа файлов на сервере.
- Оцените контент исключенных страниц: дубли, качество, уникальность.
В большинстве случаев причина находится на первых пяти шагах.
Как восстановить индексацию
После того как причина найдена и устранена, нужно помочь поисковику переобойти сайт.
- Отправьте важные страницы на переобход через панель вебмастера.
- Обновите и отправьте карту сайта, убедившись, что в ней только актуальные индексируемые адреса.
- Если были санкции, после устранения нарушений отправьте запрос на пересмотр через соответствующий раздел панели.
- В случае взлома полностью очистите сайт, смените все пароли, обновите движок и плагины, и только потом запрашивайте проверку.
- Усильте внутреннюю перелинковку на важные страницы, чтобы робот быстрее их находил.
Пока страницы возвращаются в индекс, полезно поддержать поток клиентов другими каналами. Временное усиление контекстной рекламы по ключевым направлениям, активность в Telegram-канале и сообществе ВКонтакте, рассылка по базе клиентов помогут пережить период восстановления без серьезных потерь в продажах. Параллельно отслеживайте динамику в панели вебмастера: количество страниц в поиске должно постепенно расти.
Скорость восстановления зависит от причины. После снятия случайного запрета индексации страницы могут вернуться в поиск за несколько дней или недель. Выход из-под санкций занимает больше времени и требует устранения всех нарушений.
Как не допустить повторения
Большинство выпадений из индекса предсказуемы и предотвратимы. Несколько привычек снижают риск до минимума.
- Перед каждым крупным обновлением сайта составляйте список проверок: robots.txt, метатеги, редиректы, canonical, карта сайта.
- Настройте уведомления от панели вебмастера, чтобы сразу узнавать о проблемах.
- Регулярно делайте резервные копии и обновляйте систему управления сайтом.
- Не используйте серые методы продвижения: покупку ссылок для манипуляции, накрутки, скрытый текст.
- Раз в месяц просматривайте отчет об исключенных страницах.
Итоги
Выпадение сайта из индекса почти всегда имеет конкретную причину, которую можно найти. Чаще всего это технические ошибки — запрет в robots.txt, метатег noindex, сбои сервера, неправильные редиректы и canonical. Реже — проблемы с качеством контента или санкции за нарушения правил. Начинайте диагностику с панели вебмастера, двигайтесь по плану, устраните причину и помогите поисковику переобойти сайт. А чтобы не повторять этот опыт, сделайте проверку индексации обязательной частью любых изменений на сайте.
