Почему сайт не индексируется в Яндексе и что делать
Разбираем, почему сайт не индексируется в Яндексе: блокировки в robots.txt, малоценные страницы, дубли, ошибки Вебмастера — и как ускорить индексацию.
Если в Яндекс.Вебмастере раздел «Страницы в поиске» показывает в разы меньше URL, чем реально есть на сайте, — это не мелочь, а сигнал, что часть контента просто не участвует в поиске. Пока страница не в индексе, она не может приносить трафик, сколько бы усилий ни было вложено в её текст. Разберём основные причины, почему сайт не индексируется в Яндексе, и конкретные шаги, которые ускоряют попадание страниц в поиск.
Как понять, что у сайта проблема с индексацией
Первый шаг — не гадать, а посмотреть данные. В Яндекс.Вебмастере есть три ключевых отчёта:
- «Страницы в поиске» — сколько URL реально показывается в выдаче;
- «Индексирование → Страницы в поиске → Исключённые» — какие страницы Яндекс видел, но не включил в поиск, и почему;
- «Диагностика» — критичные ошибки сайта, из-за которых индексация может останавливаться целиком.
Если число «Исключённых» страниц растёт, а «В поиске» — нет, значит, проблема системная, а не в одной случайной странице. Дальше нужно смотреть причину исключения по каждой группе URL — Яндекс почти всегда её указывает.
Причина 1. Блокировка в robots.txt
Самая частая и самая обидная причина — часть сайта случайно закрыта от индексации в файле robots.txt. Это происходит после смены CMS, переезда сайта или работы разработчика, который забыл снять технические ограничения после запуска. Проверить просто: открыть ваш-сайт.ru/robots.txt и убедиться, что директивы Disallow не затрагивают важные разделы, а также что не закрыты папки со стилями и скриптами (/_next/, /assets/) — без них Яндекс может некорректно отрендерить страницу.
Причина 2. Мета-тег noindex или canonical на чужой URL
Иногда страница физически доступна, но помечена как не подлежащая индексации — через <meta name="robots" content="noindex"> или через canonical, указывающий на другой адрес. Это нормально для служебных страниц (личный кабинет, корзина, результаты фильтров), но становится проблемой, если тег случайно остался на коммерческой странице после тестирования или миграции сайта.
Причина 3. Малоценные и маловостребованные страницы
Яндекс выделяет отдельную категорию исключения — «малоценные» и «маловостребованные» страницы. Это не техническая ошибка, а оценка контента: алгоритм считает, что страница не даёт пользователю достаточной пользы по сравнению с другими ответами на этот же запрос.
| Тип страницы | Типичная причина | Что делать |
|---|---|---|
| Карточка товара без описания | Только фото и название, дублирует шаблон | Добавить уникальное описание, характеристики, отзывы |
| Страница услуги-дубль | Текст почти идентичен соседней странице | Объединить страницы или переписать уникально |
| Старая новость или акция | Утратила актуальность, короткий текст | Обновить, расширить или закрыть от индексации |
| Страница с автогенерацией | Шаблонный текст без вручную добавленной ценности | Дописать экспертный контент вручную |
Решение в большинстве случаев одно — либо усилить страницу уникальным и полезным содержанием, либо объединить несколько слабых страниц в одну сильную, на которую будут вести редиректы.
Причина 4. Дубли страниц
Дубли возникают из-за параметров в URL (сортировка, фильтры, UTM-метки), из-за версий с www и без, с завершающим слэшем и без него, из-за печатных версий страниц. Яндекс видит несколько одинаковых по сути документов и вынужден сам выбирать, какой показывать в поиске, — часто не тот, который нужен. Решение: canonical на каждой странице, единый формат URL, директива Clean-param в robots.txt для параметров сортировки и меток.
Причина 5. Сайт слишком «молодой» или заброшенный краулером
Новые страницы не индексируются мгновенно — Яндекс обходит сайт по расписанию, зависящему от его размера, скорости обновления и авторитетности домена. Если сайт долго не обновлялся или на него редко заходит краулер, новые страницы могут неделями ждать индексации без внешнего вмешательства.
Причина 6. Технические ошибки сервера
Реже, но заметнее по последствиям — ошибки на стороне сервера: медленный ответ хостинга, периодическая недоступность сайта (5xx-коды), некорректная настройка SSL-сертификата. Если краулер несколько раз подряд не смог получить страницу, Яндекс временно исключает её из очереди на переобход, а при систематических сбоях — понижает доверие ко всему домену. Проверить историю доступности можно в разделе «Индексирование → Скорость ответа сайта» Яндекс.Вебмастера.
Как ускорить индексацию
- Добавить актуальный sitemap.xml в Вебмастере и следить, чтобы в нём не было 404 и редиректов;
- После публикации важных страниц использовать инструмент «Переобход страниц» в Яндекс.Вебмастере;
- Настроить IndexNow — уведомление поисковика о новых и изменённых страницах в момент публикации;
- Проставить внутренние ссылки на новую страницу с уже проиндексированных разделов сайта — сиротские страницы без входящих ссылок Яндекс находит медленнее;
- Проверить скорость загрузки — медленный сайт краулер обходит реже.
Индексация — это не разовая настройка, а процесс, который нужно контролировать регулярно: каждое обновление CMS, редизайн или миграция домена — повод заново проверить robots.txt и canonical.
Причина 7. Проблемы с качеством и уникальностью контента
Отдельно стоит выделить случаи, когда страница технически доступна, не закрыта и не дублирует другие, но всё равно не попадает в индекс месяцами. Часто причина в том, что контент скопирован с другого сайта, сгенерирован автоматически без ручной доработки или содержит минимум текста при большом количестве служебных элементов (меню, футер, реклама). Яндекс сравнивает страницу с уже проиндексированными аналогами и, если не находит уникальной ценности, просто не включает её в поиск — даже без явной ошибки в Вебмастере.
Решение здесь одно — не гнаться за количеством страниц, а публиковать меньше, но содержательнее: с конкретикой, отвечающей на реальный запрос пользователя, а не с шаблонным текстом «под ключевые слова».
Когда нужен полноценный аудит
Если причины исключения страниц смешанные — часть в noindex, часть дублируется, часть просто «малоценная» — точечные правки не решат проблему системно. В этом случае эффективнее провести полный технический аудит сайта, который проверяет индексацию, скорость, структуру и корректность разметки за один проход. Быстро прогнать сайт по базовым техническим ошибкам можно и самостоятельно через бесплатный SEO-аудит сайта онлайн — сервис покажет основные блокировки индексации за пару минут.
Проблемы с индексацией часто идут рука об руку с более широкими вопросами продвижения — как правильно выстроить план работ, описано в статье как вывести сайт в топ Яндекса.
Вывод
Если сайт не индексируется в Яндексе, причина почти всегда находится в одном из семи сценариев: блокировка в robots.txt, случайный noindex, признание страниц малоценными, дубли, медленный обход краулером, технические сбои сервера или низкое качество контента. Диагностика начинается с отчётов Вебмастера, а не с догадок, и в большинстве случаев решается без полной переработки сайта. Мы — агентство из Нижнего Новгорода — на аудите в первую очередь проверяем именно индексацию, потому что без неё бессмысленно оптимизировать тексты и наращивать ссылки.
Если после самостоятельной проверки причина осталась непонятной, оставьте заявку на технический аудит сайта — разберём отчёты Вебмастера и дадим конкретный список правок для индексации.
Найдём ошибки, которые мешают росту, и дадим готовое ТЗ для программиста.