Файлы robots.txt и sitemap.xml: настройка без ошибок
Два небольших служебных файла во многом определяют, как поисковые роботы видят сайт. Объясняем, как настроить robots.txt и sitemap.xml без ошибок, которые могут стоить…
Даже идеальный контент не принесёт трафика, если поисковый робот не может нормально обойти и проиндексировать сайт. Рассказываем, что проверять в техническом аудите в первую очередь и как расставить приоритеты.
Технический SEO-аудит — это проверка того, насколько сайт доступен и понятен поисковым системам. Его задача — найти всё, что мешает роботу находить, сканировать, индексировать и правильно интерпретировать страницы.
Проблемы технического характера коварны тем, что их не видно глазами. Сайт открывается, выглядит нормально, заявки приходят — а при этом половина страниц может быть закрыта от индексации, каталог плодит тысячи дублей, а мобильная версия отдаёт поисковику пустую страницу. Владелец годами вкладывается в тексты и ссылки, не понимая, почему нет роста.
Аудит нужен в нескольких ситуациях:
Для полноценной проверки понадобится несколько источников данных. Ни один из них не показывает всю картину.
Яндекс Вебмастер. Индексация, исключённые страницы с причинами, ошибки обхода, проблемы с сайтом, диагностика, региональность, статистика поисковых запросов.
Google Search Console. Отчёт об индексировании страниц, удобство для мобильных, основные интернет-показатели, проблемы с микроразметкой, ссылки.
Краулер. Программа, которая обходит сайт подобно поисковому роботу и собирает данные обо всех страницах: коды ответа, метатеги, заголовки, canonical, редиректы, глубину вложенности, внутренние ссылки.
Инструменты проверки скорости. Сервисы оценки производительности страниц и данные о реальной скорости у пользователей.
Логи сервера. Для крупных сайтов — анализ того, какие страницы и как часто реально посещает поисковый робот.
Первые три шага отвечают на базовый вопрос: может ли поисковик найти, просканировать и правильно проиндексировать страницы.
Начинать всегда стоит с вопроса «видит ли поисковик сайт так, как нужно».
Каждая страница отдаёт поисковику код ответа. От него зависит, как робот поступит со страницей.
Что проверить:
Дубли — одна из самых распространённых технических проблем. Они размывают вес страниц, путают поисковик в выборе релевантной страницы и расходуют краулинговый бюджет.
Типичные источники дублей:
Решения зависят от ситуации: 301-редирект на основную версию, атрибут rel="canonical", закрытие в robots.txt, директива Clean-param для Яндекса (для параметров), метатег noindex. Важно выбрать единый подход и применить его последовательно.
Проверьте, не противоречат ли друг другу сигналы: страница с canonical на другую не должна быть в sitemap, а страница, закрытая в robots.txt, не может передать роботу свой canonical — он его просто не увидит.
Когда с доступностью всё в порядке, переходим к тому, как страницы выглядят для поисковика и пользователя.
Краулер позволяет быстро получить сводку по всем страницам. Ищите:
Это не столько технические ошибки, сколько ошибки оптимизации, но на больших сайтах они возникают из-за неправильных шаблонов и исправляются на уровне CMS.
Скорость загрузки влияет на ранжирование, особенно в Google, где учитываются основные интернет-показатели, и напрямую — на поведение пользователей.
Что проверить:
Ориентируйтесь на реальные данные пользователей, а не только на лабораторные тесты, и проверяйте ключевые шаблоны: главную, категорию, карточку, статью.
Обе поисковые системы оценивают сайты в первую очередь по мобильной версии. Если мобильная версия урезана по сравнению с десктопной, поисковик увидит именно урезанную.
Заключительные шаги касаются того, как устроен сайт в целом и насколько он надёжен.
Аудит часто выдаёт сотни замечаний. Пытаться исправить всё сразу бессмысленно — нужно понимать, что влияет сильнее.
| Приоритет | Что относится | Почему |
|---|---|---|
| Критичный | Закрытие от индексации нужных страниц, ошибки сервера, проблемы зеркал, массовые дубли | Прямо блокируют получение трафика |
| Высокий | Битые ссылки, цепочки редиректов, проблемы мобильной версии, медленная загрузка | Заметно снижают эффективность |
| Средний | Дубли метатегов, отсутствие H1, страницы-сироты, ошибки микроразметки | Влияют на качество ранжирования |
| Низкий | Мелкие недочёты вёрстки, необязательные оптимизации | Улучшают картину, но не срочны |
Мы в КомРА оформляем результаты аудита как список задач для разработчика с указанием приоритета, примерами адресов и ожидаемым результатом. Так исправления внедряются быстрее, а их проверка становится простой.
Технический аудит — это фундамент продвижения. Начинайте с индексации: видит ли поисковик нужные страницы и не видит ли мусор. Затем проверьте коды ответа, дубли и канонизацию, метатеги, скорость, мобильную версию, внутреннюю структуру и безопасность.
Используйте несколько источников данных: Яндекс Вебмастер, Google Search Console, краулер, инструменты проверки скорости. Расставляйте приоритеты по влиянию на трафик и не пытайтесь исправить всё сразу. А после каждого крупного изменения на сайте проводите повторную проверку — многие технические проблемы появляются именно при обновлениях.
Другие материалы этой рубрики
Два небольших служебных файла во многом определяют, как поисковые роботы видят сайт. Объясняем, как настроить robots.txt и sitemap.xml без ошибок, которые могут стоить…
SEO-текст давно перестал быть набором ключевых слов в нужной плотности. Рассказываем, как писать тексты, которые решают задачу читателя и при этом хорошо ранжируются в…
Сайт работает, тексты написаны, а трафика из поиска нет или он стоит на месте. Разбираем самые частые причины, по которым сайт не растёт в Яндексе и Google, и как найти…
Расскажите о задаче в двух словах: что продаёте, есть ли сайт, какой нужен результат. Мы изучим нишу и конкурентов, предложим решение и назовём стоимость по этапам. Консультация и предварительная оценка — бесплатно.
Или пишите напрямую: [email protected]