Оглавление
- 1. Сайт не добавлен в поисковые системы
- 2. robots.txt блокирует индексацию
- 3. На страницах стоит noindex
- 4. Страницы недоступны (404, 500)
- 5. Дубли страниц
- 6. Канонические ссылки указывают не туда
- 7. Карта сайта (sitemap.xml) отсутствует или битая
- 8. Сайт медленно грузится
- 9. Нет мобильной версии
- 10. Сайт на «молодом» домене
- 11. Сайт попал под фильтр
- 12. Сервер недоступен или медленный
- 13. Контент скопирован с других сайтов
- 14. Страницы без контента
- 15. Технические ошибки в коде
- Сводная таблица — где что проверять
- Вывод
Вы запустили сайт, а его нет в Яндексе и Google. Ввел название компании — не находится. Ввел адрес страницы — тоже пусто. Первая мысль: «Меня забанили». Спокойно — причин может быть пятнадцать, и бана среди них — не самая частая. Разберём каждую, с инструкцией, где проверить.
Если сайт не находится в поиске, начните с пяти проверок: robots.txt, meta robots noindex, sitemap.xml, доступность страниц (200 OK) и наличие сайта в Яндекс Вебмастере / Google Search Console.
1. Сайт не добавлен в поисковые системы
Самая банальная причина. Новый сайт не попадает в поиск автоматически — нужно, чтобы робот о нем узнал. Это не «включится само», если:
- Нет ни одной внешней ссылки на сайт
- Не добавили сайт в Вебмастер и Search Console
- Нет sitemap.xml
Где проверять: Яндекс Вебмастер и Google Search Console. Добавьте сайт, подтвердите права (через метатег или DNS), отправьте sitemap.
2. robots.txt блокирует индексацию
Файл robots.txt в корне сайта говорит поисковым роботам, куда можно ходить, а куда нельзя. Если там стоит Disallow: / — весь сайт закрыт.
Как проверить: откройте ваш-домен.ru/robots.txt. Если видите:
User-agent: *
Disallow: /— сайт закрыт от всех поисковиков. Уберите Disallow: / или замените на пустой Disallow.
3. На страницах стоит noindex
Метатег <meta name="robots" content="noindex"> в <head> страницы говорит поисковику: «не индексируй эту страницу». Часто ставится на стадии разработки и забывается снять.
Как проверять:
- Откройте страницу, посмотрите исходный код (Ctrl+U)
- Найдите
<meta name="robots" - Если стоит
noindex— страница не попадет в поиск
Также проверьте заголовок X-Robots-Tag: noindex в HTTP-ответе — он ставится на уровне сервера.
4. Страницы недоступны (404, 500)
Если поисковый робот приходит на страницу, а там ошибка 404 или 500 — он не проиндексирует ее. Накопление ошибок — сигнал, что сайт в плохом состоянии.
Где проверять:
- Яндекс Вебмастер → Индексирование → Ошибки
- Google Search Console → Индексирование → Страницы
5. Дубли страниц
Если на сайте есть дубли — одинаковые страницы с разными URL — поисковик не понимает, какую индексировать. В итоге не индексирует ни одну, или индексирует не ту.
Частые причины дублей:
example.ru/pageиexample.ru/page/(со слэшем и без)example.ruиwww.example.ruhttp://иhttps://- Параметры в URL:
?sort=price,?utm_source=...
Как проверять: в Вебмастере и Search Console смотрите раздел «дубли» или «похожие страницы». Решение — канонические ссылки (rel="canonical").
6. Канонические ссылки указывают не туда
Тег <link rel="canonical" href="..."> говорит поисковику, какая страница «главная». Если каноническая ссылка указывает на другую страницу или на несуществующий URL — страница не проиндексируется.
Как проверять: в исходном коде найдите <link rel="canonical". Проверьте, что URL существует и ведет на нужную страницу.
7. Карта сайта (sitemap.xml) отсутствует или битая
sitemap.xml — это карта сайта для поисковиков. Если ее нет, робот может не найти часть страниц. Если она есть, но битая (несуществующие URL, неправильный формат) — робот не сможет ее прочитать.
Как проверять:
- Откройте
ваш-домен.ru/sitemap.xml - Проверьте, что URL в ней реальны
- Отправьте карту в Вебмастер и Search Console
8. Сайт медленно грузится
Поисковый робот выделяет на обход сайта ограниченное время. Если страницы стабильно грузятся медленно или сервер долго отвечает, робот может обходить меньше страниц за визит. Это ухудшает индексацию, особенно на больших сайтах.
Как проверять: PageSpeed Insights. Введите URL — получите оценку скорости и список проблем.
9. Нет мобильной версии
Google использует mobile-first indexing, а Яндекс тоже учитывает удобство мобильной версии. Если на телефоне контент скрыт, ломается верстка или кнопки не работают, это может мешать индексации и ранжированию.
Как проверять:
- Откройте сайт на телефоне
- В Chrome DevTools (F12) переключитесь в мобильный режим
- Проверьте, что контент виден и не разъезжается
10. Сайт на «молодом» домене
Новый домен без истории индексируется медленно. Поисковики относятся к нему с осторожностью — сначала проверяют, потом доверяют. Это может занимать от нескольких дней до нескольких недель.
Что делать: набраться терпения, добавить сайт в Вебмастер и Search Console, получить первые ссылки с уже проиндексированных ресурсов. Со временем индексация ускорится.
11. Сайт попал под фильтр
Фильтры — это санкции поисковиков за нарушения. Основные:
- Троян — на сайте вредоносный код
- Ссылочный — накрутка ссылками с сомнительных площадок
- Переоптимизация — переспам ключевых слов
- Агрессивная реклама — всплывающие окна, перекрывающие контент
Как проверять: в Яндекс Вебмастере → Безопасность и нарушения. Если сайт под фильтром, обычно приходит уведомление. Дальше — устранить причину и подать запрос на пересмотр.
12. Сервер недоступен или медленный
Если сервер часто «падает» или отвечает с задержкой, поисковый робот не может обойти сайт. Несколько неудачных попыток — и он временно перестает приходить.
Как проверять:
- Используйте UptimeRobot или аналогичный сервис мониторинга
- Проверьте время ответа сервера:
curl -o /dev/null -s -w "%{time_total}\n" https://ваш-домен.ru
13. Контент скопирован с других сайтов
Если текст на вашем сайте скопирован с другого ресурса, поисковик может не индексировать вашу страницу — он считает оригиналом тот сайт, где текст появился раньше. Это не фильтр, но страница не появится в выдаче.
Как проверять: скопируйте уникальный фрагмент текста (10–15 слов) и вставьте в поиск в кавычках. Если найдены другие сайты с тем же текстом — у вас неуникальный контент.
14. Страницы без контента
Пустые страницы или страницы с минимальным контентом (одна картинка, два слова) не индексируются — поисковику нечего индексировать. «Страницы-заглушки» типа «Раздел в разработке» — частая причина.
Как проверять: пройдите по сайту, посмотрите, есть ли на каждой странице осмысленный текст. Если нет — либо наполните, либо закройте от индексации через noindex.
15. Технические ошибки в коде
Сломанная HTML-разметка, незакрытые теги, JavaScript, который не выполняется — все это мешает поисковому роботу прочитать страницу. Особенно критично, если контент рендерится через JavaScript, а робот его не выполняет.
Как проверять:
- В Search Console → Проверка URL — посмотрите, как видит страницу робот
- Откройте страницу с отключенным JavaScript — если контент исчез, это проблема
Сводная таблица — где что проверять
| Причина | Где проверять |
|---|---|
| Не добавлен в поиск | Яндекс Вебмастер, Google Search Console |
| robots.txt | ваш-домен.ru/robots.txt |
| noindex | Исходный код страницы |
| 404/500 | Вебмастер → Ошибки |
| Дубли | Вебмастер → Похожие страницы |
| canonical | Исходный код страницы |
| sitemap | ваш-домен.ru/sitemap.xml |
| Скорость | PageSpeed Insights |
| Мобильная версия | Телефон, Chrome DevTools |
| Молодой домен | Дата регистрации домена |
| Фильтр | Вебмастер → Безопасность и нарушения |
| Сервер | UptimeRobot |
| Неуникальный контент | Поиск по фрагменту в кавычках |
| Пустые страницы | Визуальный осмотр |
| Ошибки в коде | Search Console → Проверка URL |
Вывод
Если сайта нет в поиске — не нужно сразу думать о фильтрах или санкциях. В большинстве случаев причина проще — закрыт robots.txt, стоит noindex, нет sitemap.xml, страницы отдают ошибки или домен еще слишком молодой. Проверьте пятнадцать пунктов по списку — многие проблемы можно найти за полчаса. Если не получается разобраться самостоятельно, приходите — посмотрим сайт и покажем, что именно мешает индексации.
