Когда я только сделал свой первый сайт, я не знал, что такое robots.txt. Честно говоря, я даже не думал, что такой файл бывает. Я публиковал статьи и ждал результата. А потом начал изучать как продвигать сайт и наткнулся на СЕО и этот файл очень важен для него.
Robots.txt это один из главных файлов, без которого поисковики могут делать с твоим сайтом что угодно. Или наоборот — не делать того, что вы хотите нужно. Я полез разбираться, наделал ошибок, потом исправлял. И сейчас расскажу, что это за файл, зачем он нужен и как его заполнить так, чтобы нравиться поисковикам.
В предыдущей статье я рассказывал про ЧПУ — понятные адреса страниц. Теперь двигаемся дальше по технической части SEO. Robots.txt — это следующий шаг после того, как вы настроили адреса. Потому что роботам надо дать понять куда им можно ходить, а куда — не надо.
Что такое robots.txt и зачем он нужен
Robots.txt — это текстовый файл, который лежит в корне вашего сайта. Он говорит поисковым роботам, какие страницы можно сканировать, а какие — нельзя.
Если по-простому: это как табличка на двери. «Сюда можно, а сюда не надо». Робот читает эту табличку и действует соответственно.
Зачем это нужно? Вот несколько причин, которые я понял на своём опыте.
Чтобы закрыть от индексации служебные страницы. Например, админку, папки с движком, файлы настроек. Они не нужны в поиске.
Чтобы указать роботам путь к карте сайта (sitemap.xml). Это ускоряет индексацию.
Чтобы не плодить дубли. Например, страницы с GET-параметрами или страницы поиска внутри сайта.
Чтобы контролировать нагрузку на сервер. Если робот ходит слишком часто, это может замедлить сайт.
Но тут есть важный момент, который я понял не сразу. Robots.txt — это не запрет. Это рекомендация. Если робот захочет — он может проигнорировать файл. Но крупные поисковики, Яндекс и Google, его уважают.
Где находится robots.txt и как его создать
Robots.txt должен лежать в корне сайта. Там же, где лежат файлы wp-config.php и wp-load.php.
Как найти корень сайта? Через FTP или файловый менеджер хостинга. Обычно это папка /public_html/ или просто /. Внутри неё лежат папки wp-admin, wp-content, wp-includes. И там же должен быть файл robots.txt.
Если файла нет — его нужно создать. Я создаю через файловый менеджер хостинга: нажимаю «Создать файл», ввожу имя robots.txt и записываю в него содержимое.
Важно: файл должен быть именно в корне, а не в папке с темой или где-то ещё. Если положить его не туда, он не сработает.
Проверить, что файл работает, можно так: откройте в браузере https://ваш-сайт.ru/robots.txt. Если видите содержимое файла — всё в порядке. Если видите ошибку 404 — значит, файл лежит не там или не создан.
Как правильно заполнить robots.txt: мой пример
Вот как выглядит мой robots.txt. Я покажу его полностью, а потом разберу каждую строчку.
User-agent: * Allow: /wp-content/uploads/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /wp-login.php Disallow: /wp-json/ Disallow: /xmlrpc.php Disallow: /?s=* Disallow: /search/ Disallow: /tag/ Disallow: /author/ Disallow: /feed/ Disallow: /comments/feed/ Disallow: /*?* Sitemap: https://milyutin-codes.ru/sitemap.xml
Теперь разберём, что здесь к чему.
User-agent: *
Это директива, которая говорит: «Правила ниже применяются ко всем поисковым роботам». Звёздочка означает «все». Если вы хотите задать правила для конкретного робота, например только для Яндекса, пишете User-agent: Yandex.
Я использую *, потому что хочу, чтобы правила работали для всех поисковиков одинаково.
Allow: /wp-content/uploads/
Эта строка разрешает роботам сканировать папку с загруженными изображениями. Это важно, потому что картинки из статей должны попадать в поиск по картинкам. Если закрыть эту папку, изображения не будут индексироваться.
Disallow: /wp-admin/ и другие служебные папки
Эти строки закрывают от индексации служебные разделы WordPress. Админка, папки с движком, файлы входа — всё это не нужно в поиске. Если робот их просканирует, это создаст лишнюю нагрузку и может привести к ошибкам в индексации.
Я закрываю:
/wp-admin/— админка./wp-includes/— системные файлы./wp-content/plugins/— папка с плагинами./wp-content/themes/— папка с темами./wp-login.php— страница входа./wp-json/— REST API./xmlrpc.php— файл для удалённого управления.
Раньше я не закрывал эти папки. И знаете что? В Яндекс.Вебмастере появились ошибки: робот пытался проиндексировать страницы админки и выдавал ошибки. После того как я закрыл их в robots.txt, ошибки исчезли.
Disallow: /?s=* и Disallow: /search/
Эти строки закрывают страницы внутреннего поиска. Когда пользователь ищет что-то на сайте, формируется страница вида /?s=запрос. Таких страниц может быть бесконечно много, и все они дублируют друг друга. Закрывать их от индексации — правильно.
Это архивы. Метки, авторы, RSS-ленты. Я закрываю их от индексации, потому что они не несут уникальной ценности. Лучше сконцентрировать вес на статьях, а не на архивах.
Честно говоря, тут я долго сомневался. Сначала я закрывал всё подряд — и рубрики, и метки, и архивы. А потом понял, что закрыл и рубрики, которые могли бы давать трафик. Пришлось переделывать.
Disallow: /?
Эта строка закрывает все страницы с GET-параметрами. То есть адреса вида /statiya/?utm_source=vk. Такие страницы — дубли основных страниц, и их не нужно индексировать.
Sitemap: https://milyutin-codes.ru/sitemap.xml
Эта строка указывает роботам путь к карте сайта. Sitemap помогает роботам быстрее найти все страницы. Я расскажу про sitemap в следующей статье, но здесь важно упомянуть, что путь к нему нужно прописать именно в robots.txt.
Ошибки, которые я совершил с robots.txt
Я не могу сказать, что всё было гладко. Вот несколько ошибок, которые я допустил.
Первая: я закрыл всё подряд. Сначала я написал Disallow: / — то есть закрыл весь сайт от индексации. Думал, что так правильно. А потом удивился, почему сайта нет в поиске. Оказалось, что Disallow: / закрывает всё. Абсолютно всё. Пришлось срочно исправлять.
Вторая: я забыл про Allow. Я закрыл папку /wp-content/ целиком, а вместе с ней и /wp-content/uploads/ — папку с картинками. В итоге изображения перестали индексироваться. Пришлось добавлять Allow: /wp-content/uploads/, чтобы открыть только эту папку.
Третья: я не проверил файл. Я создал robots.txt, но не открыл его в браузере. Оказалось, что файл лежал не в корне, а в папке с темой. Роботы его не видели. Теперь я всегда проверяю: открываю https://сайт.ru/robots.txt и смотрю, что отображается.
Четвёртая: я закрыл рубрики. Я закрыл /category/ от индексации. Думал, что это правильно. А потом понял, что рубрики могут давать трафик — люди ищут статьи по категориям. Пришлось открывать обратно.
Пятая: я забыл про Sitemap. Я создал sitemap, но не прописал путь к нему в robots.txt. В итоге роботы не знали, где его искать. Пришлось добавлять строку.
Как проверить, что robots.txt работает
После того как я заполнил файл, я проверяю его несколькими способами.
Открываю
https://сайт.ru/robots.txtв браузере. Если вижу содержимое — файл на месте.Захожу в Яндекс.Вебмастер → «Инструменты» → «Анализ robots.txt». Там можно проверить, правильно ли файл читается.
Захожу в Google Search Console → «Файлы robots.txt». Там тоже можно проверить.
Проверяю конкретные страницы: закрыты ли они от индексации. В Вебмастере есть инструмент «Проверка URL» — можно ввести адрес и посмотреть, закрыт он или нет.
Я делаю это после каждого изменения. Потому что одна ошибка в robots.txt может закрыть весь сайт от поиска. А это катастрофа.
Что я понял про robots.txt
Robots.txt — это не сложно, но важно. Файл состоит из нескольких строк, но от него зависит, увидят ли люди ваш сайт.
Не закрывайте всё подряд. Лучше открыть лишнее, чем закрыть нужное. Закрывайте только то, что точно не нужно в поиске.
Проверяйте после каждого изменения. Одна ошибка — и сайт исчезнет из поиска. Проверка занимает минуту, но спасает от больших проблем.
Не забывайте про Sitemap. Указать путь к карте сайта в robots.txt — это простой способ ускорить индексацию.
Это не разовая настройка. По мере роста сайта правила могут меняться. Я возвращаюсь к robots.txt каждый раз, когда добавляю новый раздел или меняю структуру.
Вот что стоит сделать первым делом
Я начинал с этого. Ничего сложного.
Создайте файл
robots.txtв корне сайта.Добавьте
User-agent: *в первой строке.Закройте служебные папки:
/wp-admin/,/wp-includes/,/wp-content/plugins/,/wp-content/themes/.Откройте папку с картинками:
Allow: /wp-content/uploads/.Закройте страницы поиска:
/?s=*.Добавьте путь к sitemap, если он у вас есть.
Проверьте файл в браузере и в Яндекс.Вебмастере.
Этого достаточно, чтобы начать. Остальное придёт с опытом.
Robots.txt — это не «одна из настроек». Это допуск. Если файл закрывает сайт целиком — вас нет в поиске. Если файл закрывает нужное — вы теряете трафик. Если файл лежит не в корне — он вообще не работает, а вы думаете, что всё в порядке.
Я убедился в этом на своём опыте. Одна строка Disallow: / — и сайт исчез из поиска. Один забытый Allow — и картинки перестали индексироваться. Одна ошибка в пути — и файл не читался месяцами.
Проверьте свой robots.txt сегодня. Откройте, посмотрите на него глазами робота. Закрыто ли то, что должно быть закрыто? Открыто ли то, что должно быть открыто? Указан ли путь к sitemap? Если вы не уверены — зайдите в Яндекс.Вебмастер и Google Search Console, проверьте файл там. Это займёт полчаса. Но эти полчаса решают, увидят ли люди то, что вы написали.
Robots.txt не прощает небрежности. И не прощает забывчивости. Поэтому проверяйте его. Каждый раз, когда что-то меняете на сайте.
Подписывайтесь на мой блог, читайте другие статьи, делитесь опытом. Вместе мы строим то, что останется.
Автор: Константин Милютин
Группа ВК: vk.com/milyutin_codes
Email: milyutinkv@gmail.com
Добавить комментарий