Генератор robots.txt
Что такое robots.txt
Файл robots.txt — это текстовый файл в корне сайта, который указывает поисковым роботам (краулерам), какие разделы и страницы можно индексировать, а какие нельзя. Это стандарт Robots Exclusion Protocol, предложенный в 1994 году и поддерживаемый всеми крупными поисковыми системами.
Стандарт REP
Robots Exclusion Protocol (REP) — стандарт, принятый в 1994 году Мартином Костером. В 2019 году Google предложил формализовать его как RFC 9309. Все крупные поисковики — Яндекс, Google, Bing, Mail.ru — соблюдают этот протокол и проверяют robots.txt перед сканированием сайта.
Как работает
Поисковый робот, приходя на сайт, первым делом запрашивает файл /robots.txt. Если файл найден, бот читает правила и следует им: не сканирует запрещённые страницы, соблюдает задержку между запросами (Crawl-delay). Если файла нет — робот индексирует весь сайт без ограничений.
Рекомендация, не защита
Robots.txt — это рекомендательный протокол. Добропорядочные боты (Google, Яндекс) его соблюдают, но вредоносные парсеры и скраперы могут игнорировать. Для настоящей защиты контента используйте авторизацию, HTTP-заголовок X-Robots-Tag или мета-тег noindex.
Возможности генератора
Наш инструмент учитывает особенности всех популярных поисковых систем, включая специфические директивы Яндекса.
SEO-оптимизация
Правильный robots.txt помогает поисковикам эффективно сканировать ваш сайт, направляя краулинговый бюджет на важные страницы и исключая технические разделы.
Защита серверных ресурсов
Закрывая административные панели, API-эндпоинты и служебные директории, вы снижаете нагрузку на сервер от ботов и защищаете чувствительные данные от попадания в выдачу.
Оптимизация краулингового бюджета
Каждый поисковик выделяет сайту ограниченное количество запросов. Блокируя фасетную навигацию, дубли и технические страницы, вы направляете бюджет на ценный контент.
Яндекс-специфичные директивы
Поддержка Host для указания основного зеркала, Clean-param для борьбы с дублями из-за UTM-меток, и правильная настройка Crawl-delay, критичная для индексации в Яндексе.
Готовые шаблоны
Предустановленные конфигурации для WordPress, Next.js, блокировки ИИ-ботов (GPTBot, ClaudeBot) и типовых сценариев. Один клик — и основа файла готова.
Встроенный валидатор
Вставьте существующий robots.txt и получите детальный разбор: ошибки синтаксиса, предупреждения о нестандартных директивах, пояснения по Яндекс-специфике.
Синтаксис robots.txt/ полное руководство
Файл robots.txt состоит из набора правил. Каждое правило начинается с директивы User-agent, за которой следуют инструкции Disallow и Allow. Дополнительные директивы (Sitemap, Host, Clean-param) указываются отдельно.
User-agent
Указывает, для какого робота предназначены следующие правила. Символ * означает «все роботы». Можно указать конкретного бота: Googlebot, Yandexbot, Bingbot, GPTBot и др.
User-agent: *
User-agent: Googlebot
User-agent: YandexbotDisallow
Запрещает сканирование указанного пути и всех URL, начинающихся с этого пути. Пустое значение Disallow разрешает доступ ко всему сайту. Поддерживаются подстановочные символы * и окончание $.
Disallow: /admin/
Disallow: /api/
Disallow: /*.pdf$
Disallow: /search?*q=Allow
Разрешает сканирование указанного пути, даже если он попадает под более широкое правило Disallow. Позволяет создавать исключения: запретить директорию целиком, но разрешить отдельные файлы внутри.
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpSitemap
Указывает путь к XML-карте сайта. Должен содержать полный URL с протоколом. Можно указать несколько директив Sitemap. Поддерживается всеми поисковыми системами.
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xmlCrawl-delay
Минимальная пауза (в секундах) между запросами бота. Яндекс учитывает, Google — игнорирует.
Crawl-delay: 2Host
Основное зеркало сайта (www или без www). Специфика Яндекса, другие поисковики игнорируют.
Host: example.comClean-param
GET-параметры, не влияющие на содержание. Яндекс не будет считать URL с этими параметрами дублями.
Clean-param: utm_source /Примеры для разных платформ
Для каждой CMS и фреймворка есть свои особенности настройки robots.txt. Ниже приведены рекомендации по типовым конфигурациям.
WPWordPress
Закройте wp-admin (но разрешите admin-ajax.php для AJAX-форм), wp-includes, служебные файлы (xmlrpc.php, wp-login.php). Запретите индексацию страниц поиска (?s=), тегов и авторских архивов, если они не несут SEO-ценности. Обязательно укажите Sitemap.
Используйте шаблон «WordPress (стандарт)» в конструкторе выше.
NNext.js
В Next.js основные технические файлы находятся в /_next/. Статические ассеты (JS, CSS) обычно не нуждаются в индексации. Закройте API-маршруты (/api/) и административные разделы. Next.js позволяет генерировать robots.txt программно через app/robots.js.
Используйте шаблон «Next.js (стандарт)» в конструкторе выше.
1C1С-Битрикс
Закройте /bitrix/, /upload/resize_cache/, /personal/, /auth/, страницы с параметрами фильтрации и сортировки. Для интернет-магазинов важно запретить индексацию корзины, оформления заказа и личного кабинета. Укажите Host для выбора основного зеркала.
DDjango / Flask
Закройте /admin/ (панель Django Admin), /static/ (если не нужно индексировать CSS/JS), /media/private/, API-эндпоинты. В Django можно обслуживать robots.txt через django-robots или простой TemplateView. Для Flask — через send_from_directory.
Особенности robots.txt для Яндекса
Яндекс поддерживает ряд директив, которые не учитываются Google и другими поисковиками. Правильная настройка этих директив может существенно улучшить индексацию вашего сайта в Яндексе.
Директива Host
Выбор основного зеркалаHost указывает Яндексу, какой домен считать основным: example.com или www.example.com. Это помогает избежать дублирования контента между зеркалами. В Яндекс.Вебмастере можно проверить, какое зеркало выбрано. Google для этих целей использует rel=canonical и 301-редиректы.
Директива Clean-param
Борьба с дублямиClean-param сообщает Яндексу, что определённые GET-параметры (utm_source, utm_medium, ref, session_id и т.д.) не меняют содержимое страницы. Яндекс не будет считать URL с разными значениями этих параметров отдельными страницами, что уменьшает количество дублей в индексе.
Crawl-delay для Яндекса
Контроль нагрузкиВ отличие от Google (который игнорирует Crawl-delay), Яндекс строго соблюдает эту директиву. Значение 2 означает, что Yandexbot будет делать паузу минимум 2 секунды между запросами. Для небольших сайтов на shared-хостинге рекомендуется ставить 1-2 секунды, чтобы снизить нагрузку.
Проверка в Яндекс.Вебмастере
Отладка и мониторингЯндекс.Вебмастер предоставляет инструмент «Анализ robots.txt», где можно проверить, как Яндекс интерпретирует ваш файл. Там же видно, какие страницы заблокированы и какие директивы применяются. Это самый надёжный способ убедиться, что robots.txt работает правильно.
Советы по настройке robots.txt
Практические рекомендации, которые помогут избежать типичных ошибок при создании файла robots.txt.
1Не блокируйте CSS и JS
Google явно рекомендует не закрывать CSS и JavaScript файлы от индексации. Googlebot рендерит страницы как браузер и без стилей/скриптов не может правильно оценить контент. Блокировка CSS/JS может привести к понижению в выдаче.
2Файл должен быть в корне
Robots.txt должен располагаться строго по адресу /robots.txt (в корне домена). Файл в поддиректории (example.com/blog/robots.txt) не будет найден роботами. Для поддоменов нужен отдельный файл: blog.example.com/robots.txt.
3Используйте полные URL для Sitemap
Директива Sitemap должна содержать абсолютный URL с протоколом: https://example.com/sitemap.xml. Относительные пути (/sitemap.xml) не распознаются стандартом и могут быть проигнорированы поисковиками.
4Проверяйте после каждого изменения
После изменения robots.txt проверьте его в инструментах вебмастера Google Search Console и Яндекс.Вебмастере. Ошибка в одном символе (например, пропущенный слэш) может заблокировать важные страницы от индексации.
5Не используйте для скрытия контента
Disallow в robots.txt не удаляет страницу из индекса — она может попасть туда через внешние ссылки. Для полного удаления используйте мета-тег noindex или HTTP-заголовок X-Robots-Tag: noindex в сочетании с разрешением на сканирование.
6Учитывайте порядок правил
Google и Яндекс по-разному обрабатывают конфликтующие правила Allow и Disallow. Google выбирает наиболее конкретное правило (по длине пути). Яндекс применяет последнее подходящее правило. Старайтесь делать правила однозначными, без конфликтов.
Как пользоваться генератором
Создайте файл robots.txt для вашего сайта за несколько простых шагов.
Выберите шаблон или начните с нуля
Нажмите на один из готовых пресетов (WordPress, Next.js, блокировка ИИ-ботов) или начните добавлять правила вручную.
Настройте правила
Выберите User-agent, добавьте пути Allow и Disallow. Установите Crawl-delay при необходимости. Добавьте правила для нескольких ботов.
Укажите глобальные директивы
Добавьте URL карты сайта (Sitemap), основное зеркало (Host) и параметры для очистки (Clean-param) для Яндекса.
Скопируйте или скачайте
Скопируйте сгенерированный текст в буфер обмена или скачайте как файл robots.txt. Загрузите его в корень вашего сайта.
Часто задаваемые вопросы
Лиана Арифметова
Миссия: Демократизировать сложные расчеты. Превратить страх перед числами в ясность и контроль. Девиз: «Любая повторяющаяся задача заслуживает своего калькулятора».
Отказ от ответственности
Только для информационных целей. Все расчёты, результаты и данные, предоставляемые данным инструментом, носят исключительно ознакомительный и справочный характер. Они не являются профессиональной консультацией — медицинской, юридической, финансовой, инженерной или иной.
Точность результатов. Калькулятор основан на общепринятых формулах и методиках, однако фактические результаты могут отличаться в зависимости от индивидуальных условий, исходных данных и применяемых стандартов. Мы не гарантируем полноту, точность или актуальность приведённых расчётов.
Медицинские, финансовые и профессиональные решения должны приниматься исключительно на основании консультации с квалифицированными специалистами — врачом, финансовым советником, инженером или другим профессионалом в соответствующей области. Не используйте результаты данного инструмента как единственное основание для принятия важных решений.
Ограничение ответственности. Авторы и разработчики сервиса не несут никакой ответственности за прямой или косвенный ущерб, возникший в результате использования данных расчётов. Пользователь принимает на себя всю ответственность за интерпретацию и применение полученных результатов.
Похожие инструменты
Калькулятор расхода краски для пола
Расчёт расхода краски для пола по площади и количеству слоёв. Акриловая, эпоксидная, полиуретановая, алкидная. Стоимость.
Калькулятор грузоперевозок и доставки
Расчёт стоимости доставки по России: Почта, СДЭК, Деловые Линии. Объёмный вес, сроки, таможня.
Калькулятор откосов
Расчёт материалов на оконные и дверные откосы. Пластик, гипсокартон, штукатурка, сэндвич-панели. Профили, пена, утеплитель.
Калькулятор стехиометрии: балансировка и выход реакции
Балансировка химических уравнений (онлайн), расчет лимитирующего реагента и выхода реакции (теоретический/процентный).
Калькулятор ухода за питомцем: бюджет, корм, ветеринар
Калькулятор расходов на питомца. Бюджет на кошку или собаку, порции корма, ветеринарные расходы, стоимость первого года.
Калькулятор амортизации кредита (график платежей)
Рассчитайте аннуитетные и дифференцированные платежи по кредиту. График погашения, переплата, досрочное погашение.
Калькулятор автоматических выключателей
Подбор автоматического выключателя по мощности и сечению кабеля. Номинал автомата, характеристики B/C/D, проверка по ПУЭ, рекомендация УЗО.
Калькулятор развития ребёнка по месяцам
Навыки и нормы развития ребёнка по месяцам. Моторика, речь, социальные навыки.
Калькулятор петрологии
Классификация горных пород по TAS и AFM, нормативный состав CIPW, магнезиальность Mg#, геотермический градиент, литостатическое давление.
Калькулятор ЕСХН
Расчёт единого сельскохозяйственного налога: 6% от «доходы минус расходы», проверка права.
Калькулятор подписок: трекер, сравнение, экономия
Калькулятор подписок. Учёт всех подписок, сравнение тарифов, расчёт экономии на годовых планах, аудит ненужных подписок.
Калькулятор расхода бытовой химии
Расчёт расхода стирального порошка, средств для мытья и уборки на месяц и год.
Калькулятор паразитологии
Подсчёт яиц гельминтов EPG, паразитемия малярии, FECRT, дозирование антигельминтных препаратов, определитель паразитов.
Калькулятор льгот многодетным семьям
Расчёт всех льгот и выплат для многодетных семей: 450 000 на ипотеку, налоговые вычеты, бесплатный участок, региональные выплаты.
Калькулятор шифрования и криптографии
Расчёты криптографии: стойкость пароля, AES, RSA/ECC, хеширование, ключи, квантовая угроза