Оглавление
- 1. Сайт не добавлен в поисковые системы
- 2. robots.txt блокирует индексацию
- 3. На страницах стоит noindex
- 4. Страницы недоступны (404, 500)
- 5. Дубли страниц
- 6. Канонические ссылки указывают не туда
- 7. Карта сайта (sitemap.xml) отсутствует или битая
- 8. Сайт медленно грузится
- 9. Нет мобильной версии
- 10. Сайт на «молодом» домене
- 11. Сайт попал под фильтр
- 12. Сервер недоступен или медленный
- 13. Контент скопирован с других сайтов
- 14. Страницы без контента
- 15. Технические ошибки в коде
- Сводная таблица: где что проверять
- Вывод
Вы запустили сайт, а его нет в Яндексе и Google. Ввёл название компании — не находится. Ввёл адрес страницы — тоже пусто. Первая мысль: «Меня забанили». Спокойно: причин может быть пятнадцать, и бана среди них — не самая частая. Разберём каждую, с инструкцией, где проверить.
1. Сайт не добавлен в поисковые системы
Самая банальная причина. Новый сайт не попадает в поиск автоматически — нужно, чтобы робот о нём узнал. Это не «включится само», если:
- Нет ни одной внешней ссылки на сайт
- Не добавили сайт в Вебмастер и Search Console
- Нет sitemap.xml
Где проверять: Яндекс Вебмастер и Google Search Console. Добавьте сайт, подтвердите права (через метатег или DNS), отправьте sitemap.
2. robots.txt блокирует индексацию
Файл robots.txt в корне сайта говорит поисковым роботам, куда можно ходить, а куда нельзя. Если там стоит Disallow: / — весь сайт закрыт.
Как проверить: откройте ваш-домен.ru/robots.txt. Если видите:
User-agent: *
Disallow: /— сайт закрыт от всех поисковиков. Уберите Disallow: / или замените на пустой Disallow.
3. На страницах стоит noindex
Метатег <meta name="robots" content="noindex"> в <head> страницы говорит поисковику: «не индексируй эту страницу». Часто ставится на стадии разработки и забывается снять.
Как проверять:
- Откройте страницу, посмотрите исходный код (Ctrl+U)
- Найдите
<meta name="robots" - Если стоит
noindex— страница не попадёт в поиск
Также проверьте заголовок X-Robots-Tag: noindex в HTTP-ответе — он ставится на уровне сервера.
4. Страницы недоступны (404, 500)
Если поисковый робот приходит на страницу, а там ошибка 404 или 500 — он не проиндексирует её. Накопление ошибок — сигнал, что сайт в плохом состоянии.
Где проверять:
- Яндекс Вебмастер → Индексирование → Ошибки
- Google Search Console → Ошибки сканирования
5. Дубли страниц
Если на сайте есть дубли — одинаковые страницы с разными URL — поисковик не понимает, какую индексировать. В итоге не индексирует ни одну, или индексирует не ту.
Частые причины дублей:
example.ru/pageиexample.ru/page/(со слэшем и без)example.ruиwww.example.ruhttp://иhttps://- Параметры в URL:
?sort=price,?utm_source=...
Как проверять: в Вебмастере и Search Console смотрите раздел «дубли» или «похожие страницы». Решение — канонические ссылки (rel="canonical").
6. Канонические ссылки указывают не туда
Тег <link rel="canonical" href="..."> говорит поисковику, какая страница «главная». Если каноническая ссылка указывает на другую страницу или на несуществующий URL — страница не проиндексируется.
Как проверять: в исходном коде найдите <link rel="canonical". Проверьте, что URL существует и ведёт на нужную страницу.
7. Карта сайта (sitemap.xml) отсутствует или битая
sitemap.xml — это карта сайта для поисковиков. Если её нет, робот может не найти часть страниц. Если она есть, но битая (несуществующие URL, неправильный формат) — робот не сможет её прочитать.
Как проверять:
- Откройте
ваш-домен.ru/sitemap.xml - Проверьте, что URL в ней реальны
- Отправьте карту в Вебмастер и Search Console
8. Сайт медленно грузится
Поисковый робот выделяет на обход сайта ограниченное время. Если страницы грузятся по 5–10 секунд, робот уходит, не дожидаясь. Быстрый сайт индексируется лучше.
Как проверять: PageSpeed Insights. Введите URL — получите оценку скорости и список проблем.
9. Нет мобильной версии
Яндекс и Google используют мобильное индексирование: сначала смотрят на мобильную версию, потом на десктоп. Если мобильной версии нет или она сломана — сайт может не индексироваться или пессимизироваться в выдаче.
Как проверять:
- Откройте сайт на телефоне
- В Chrome DevTools (F12) переключитесь в мобильный режим
- Проверьте, что контент виден и не разъезжается
10. Сайт на «молодом» домене
Новый домен без истории индексируется медленно. Поисковики относятся к нему с осторожностью: сначала проверяют, потом доверяют. Это может занимать от нескольких дней до нескольких недель.
Что делать: набраться терпения, добавить сайт в Вебмастер и Search Console, получить первые ссылки с уже проиндексированных ресурсов. Со временем индексация ускорится.
11. Сайт попал под фильтр
Фильтры — это санкции поисковиков за нарушения. Основные:
- Троян — на сайте вредоносный код
- Ссылочный — накрутка ссылками с сомнительных площадок
- Переоптимизация — переспам ключевых слов
- Агрессивная реклама — всплывающие окна, перекрывающие контент
Как проверять: в Яндекс Вебмастере → Безопасность и нарушения. Если сайт под фильтром, обычно приходит уведомление. Дальше — устранить причину и подать запрос на пересмотр.
12. Сервер недоступен или медленный
Если сервер часто «падает» или отвечает с задержкой, поисковый робот не может обойти сайт. Несколько неудачных попыток — и он временно перестаёт приходить.
Как проверять:
- Используйте UptimeRobot или аналогичный сервис мониторинга
- Проверьте время ответа сервера:
curl -o /dev/null -s -w "%{time_total}\n" https://ваш-домен.ru
13. Контент скопирован с других сайтов
Если текст на вашем сайте скопирован с другого ресурса, поисковик может не индексировать вашу страницу — он считает оригиналом тот сайт, где текст появился раньше. Это не фильтр, но страница не появится в выдаче.
Как проверять: скопируйте уникальный фрагмент текста (10–15 слов) и вставьте в поиск в кавычках. Если найдены другие сайты с тем же текстом — у вас неуникальный контент.
14. Страницы без контента
Пустые страницы или страницы с минимальным контентом (одна картинка, два слова) не индексируются — поисковику нечего индексировать. «Страницы-заглушки» типа «Раздел в разработке» — частая причина.
Как проверять: пройдите по сайту, посмотрите, есть ли на каждой странице осмысленный текст. Если нет — либо наполните, либо закройте от индексации через noindex.
15. Технические ошибки в коде
Сломанная HTML-разметка, незакрытые теги, JavaScript, который не выполняется — всё это мешает поисковому роботу прочитать страницу. Особенно критично, если контент рендерится через JavaScript, а робот его не выполняет.
Как проверять:
- В Search Console → Проверка URL — посмотрите, как видит страницу робот
- Откройте страницу с отключённым JavaScript — если контент исчез, это проблема
Сводная таблица: где что проверять
| Причина | Где проверять |
|---|---|
| Не добавлен в поиск | Яндекс Вебмастер, Google Search Console |
| robots.txt | ваш-домен.ru/robots.txt |
| noindex | Исходный код страницы |
| 404/500 | Вебмастер → Ошибки |
| Дубли | Вебмастер → Похожие страницы |
| canonical | Исходный код страницы |
| sitemap | ваш-домен.ru/sitemap.xml |
| Скорость | PageSpeed Insights |
| Мобильная версия | Телефон, Chrome DevTools |
| Молодой домен | Дата регистрации домена |
| Фильтр | Вебмастер → Безопасность и нарушения |
| Сервер | UptimeRobot |
| Неуникальный контент | Поиск по фрагменту в кавычках |
| Пустые страницы | Визуальный осмотр |
| Ошибки в коде | Search Console → Проверка URL |
Вывод
Если сайта нет в поиске — не нужно сразу подозревать фильтр или «бания». В 80% случаев причина банальная: закрыт robots.txt, стоит noindex, нет sitemap.xml, или домен молодой и просто нужно подождать. Проверьте пятнадцать причин по списку — большая часть решается за полчаса. Если сами не справляетесь — приходите, разберём.