Генератор robots.txt
Что такое robots.txt
Файл robots.txt — это текстовый файл в корне сайта, который указывает поисковым роботам (краулерам), какие разделы и страницы можно индексировать, а какие нельзя. Это стандарт Robots Exclusion Protocol, предложенный в 1994 году и поддерживаемый всеми крупными поисковыми системами.
Стандарт REP
Robots Exclusion Protocol (REP) — стандарт, принятый в 1994 году Мартином Костером. В 2019 году Google предложил формализовать его как RFC 9309. Все крупные поисковики — Яндекс, Google, Bing, Mail.ru — соблюдают этот протокол и проверяют robots.txt перед сканированием сайта.
Как работает
Поисковый робот, приходя на сайт, первым делом запрашивает файл /robots.txt. Если файл найден, бот читает правила и следует им: не сканирует запрещённые страницы, соблюдает задержку между запросами (Crawl-delay). Если файла нет — робот индексирует весь сайт без ограничений.
Рекомендация, не защита
Robots.txt — это рекомендательный протокол. Добропорядочные боты (Google, Яндекс) его соблюдают, но вредоносные парсеры и скраперы могут игнорировать. Для настоящей защиты контента используйте авторизацию, HTTP-заголовок X-Robots-Tag или мета-тег noindex.
Возможности генератора
Наш инструмент учитывает особенности всех популярных поисковых систем, включая специфические директивы Яндекса.
SEO-оптимизация
Правильный robots.txt помогает поисковикам эффективно сканировать ваш сайт, направляя краулинговый бюджет на важные страницы и исключая технические разделы.
Защита серверных ресурсов
Закрывая административные панели, API-эндпоинты и служебные директории, вы снижаете нагрузку на сервер от ботов и защищаете чувствительные данные от попадания в выдачу.
Оптимизация краулингового бюджета
Каждый поисковик выделяет сайту ограниченное количество запросов. Блокируя фасетную навигацию, дубли и технические страницы, вы направляете бюджет на ценный контент.
Яндекс-специфичные директивы
Поддержка Host для указания основного зеркала, Clean-param для борьбы с дублями из-за UTM-меток, и правильная настройка Crawl-delay, критичная для индексации в Яндексе.
Готовые шаблоны
Предустановленные конфигурации для WordPress, Next.js, блокировки ИИ-ботов (GPTBot, ClaudeBot) и типовых сценариев. Один клик — и основа файла готова.
Встроенный валидатор
Вставьте существующий robots.txt и получите детальный разбор: ошибки синтаксиса, предупреждения о нестандартных директивах, пояснения по Яндекс-специфике.
Синтаксис robots.txt/ полное руководство
Файл robots.txt состоит из набора правил. Каждое правило начинается с директивы User-agent, за которой следуют инструкции Disallow и Allow. Дополнительные директивы (Sitemap, Host, Clean-param) указываются отдельно.
User-agent
Указывает, для какого робота предназначены следующие правила. Символ * означает «все роботы». Можно указать конкретного бота: Googlebot, Yandexbot, Bingbot, GPTBot и др.
User-agent: *
User-agent: Googlebot
User-agent: YandexbotDisallow
Запрещает сканирование указанного пути и всех URL, начинающихся с этого пути. Пустое значение Disallow разрешает доступ ко всему сайту. Поддерживаются подстановочные символы * и окончание $.
Disallow: /admin/
Disallow: /api/
Disallow: /*.pdf$
Disallow: /search?*q=Allow
Разрешает сканирование указанного пути, даже если он попадает под более широкое правило Disallow. Позволяет создавать исключения: запретить директорию целиком, но разрешить отдельные файлы внутри.
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpSitemap
Указывает путь к XML-карте сайта. Должен содержать полный URL с протоколом. Можно указать несколько директив Sitemap. Поддерживается всеми поисковыми системами.
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xmlCrawl-delay
Минимальная пауза (в секундах) между запросами бота. Яндекс учитывает, Google — игнорирует.
Crawl-delay: 2Host
Основное зеркало сайта (www или без www). Специфика Яндекса, другие поисковики игнорируют.
Host: example.comClean-param
GET-параметры, не влияющие на содержание. Яндекс не будет считать URL с этими параметрами дублями.
Clean-param: utm_source /Примеры для разных платформ
Для каждой CMS и фреймворка есть свои особенности настройки robots.txt. Ниже приведены рекомендации по типовым конфигурациям.
WPWordPress
Закройте wp-admin (но разрешите admin-ajax.php для AJAX-форм), wp-includes, служебные файлы (xmlrpc.php, wp-login.php). Запретите индексацию страниц поиска (?s=), тегов и авторских архивов, если они не несут SEO-ценности. Обязательно укажите Sitemap.
Используйте шаблон «WordPress (стандарт)» в конструкторе выше.
NNext.js
В Next.js основные технические файлы находятся в /_next/. Статические ассеты (JS, CSS) обычно не нуждаются в индексации. Закройте API-маршруты (/api/) и административные разделы. Next.js позволяет генерировать robots.txt программно через app/robots.js.
Используйте шаблон «Next.js (стандарт)» в конструкторе выше.
1C1С-Битрикс
Закройте /bitrix/, /upload/resize_cache/, /personal/, /auth/, страницы с параметрами фильтрации и сортировки. Для интернет-магазинов важно запретить индексацию корзины, оформления заказа и личного кабинета. Укажите Host для выбора основного зеркала.
DDjango / Flask
Закройте /admin/ (панель Django Admin), /static/ (если не нужно индексировать CSS/JS), /media/private/, API-эндпоинты. В Django можно обслуживать robots.txt через django-robots или простой TemplateView. Для Flask — через send_from_directory.
Особенности robots.txt для Яндекса
Яндекс поддерживает ряд директив, которые не учитываются Google и другими поисковиками. Правильная настройка этих директив может существенно улучшить индексацию вашего сайта в Яндексе.
Директива Host
Выбор основного зеркалаHost указывает Яндексу, какой домен считать основным: example.com или www.example.com. Это помогает избежать дублирования контента между зеркалами. В Яндекс.Вебмастере можно проверить, какое зеркало выбрано. Google для этих целей использует rel=canonical и 301-редиректы.
Директива Clean-param
Борьба с дублямиClean-param сообщает Яндексу, что определённые GET-параметры (utm_source, utm_medium, ref, session_id и т.д.) не меняют содержимое страницы. Яндекс не будет считать URL с разными значениями этих параметров отдельными страницами, что уменьшает количество дублей в индексе.
Crawl-delay для Яндекса
Контроль нагрузкиВ отличие от Google (который игнорирует Crawl-delay), Яндекс строго соблюдает эту директиву. Значение 2 означает, что Yandexbot будет делать паузу минимум 2 секунды между запросами. Для небольших сайтов на shared-хостинге рекомендуется ставить 1-2 секунды, чтобы снизить нагрузку.
Проверка в Яндекс.Вебмастере
Отладка и мониторингЯндекс.Вебмастер предоставляет инструмент «Анализ robots.txt», где можно проверить, как Яндекс интерпретирует ваш файл. Там же видно, какие страницы заблокированы и какие директивы применяются. Это самый надёжный способ убедиться, что robots.txt работает правильно.
Советы по настройке robots.txt
Практические рекомендации, которые помогут избежать типичных ошибок при создании файла robots.txt.
1Не блокируйте CSS и JS
Google явно рекомендует не закрывать CSS и JavaScript файлы от индексации. Googlebot рендерит страницы как браузер и без стилей/скриптов не может правильно оценить контент. Блокировка CSS/JS может привести к понижению в выдаче.
2Файл должен быть в корне
Robots.txt должен располагаться строго по адресу /robots.txt (в корне домена). Файл в поддиректории (example.com/blog/robots.txt) не будет найден роботами. Для поддоменов нужен отдельный файл: blog.example.com/robots.txt.
3Используйте полные URL для Sitemap
Директива Sitemap должна содержать абсолютный URL с протоколом: https://example.com/sitemap.xml. Относительные пути (/sitemap.xml) не распознаются стандартом и могут быть проигнорированы поисковиками.
4Проверяйте после каждого изменения
После изменения robots.txt проверьте его в инструментах вебмастера Google Search Console и Яндекс.Вебмастере. Ошибка в одном символе (например, пропущенный слэш) может заблокировать важные страницы от индексации.
5Не используйте для скрытия контента
Disallow в robots.txt не удаляет страницу из индекса — она может попасть туда через внешние ссылки. Для полного удаления используйте мета-тег noindex или HTTP-заголовок X-Robots-Tag: noindex в сочетании с разрешением на сканирование.
6Учитывайте порядок правил
Google и Яндекс по-разному обрабатывают конфликтующие правила Allow и Disallow. Google выбирает наиболее конкретное правило (по длине пути). Яндекс применяет последнее подходящее правило. Старайтесь делать правила однозначными, без конфликтов.
Как пользоваться генератором
Создайте файл robots.txt для вашего сайта за несколько простых шагов.
Выберите шаблон или начните с нуля
Нажмите на один из готовых пресетов (WordPress, Next.js, блокировка ИИ-ботов) или начните добавлять правила вручную.
Настройте правила
Выберите User-agent, добавьте пути Allow и Disallow. Установите Crawl-delay при необходимости. Добавьте правила для нескольких ботов.
Укажите глобальные директивы
Добавьте URL карты сайта (Sitemap), основное зеркало (Host) и параметры для очистки (Clean-param) для Яндекса.
Скопируйте или скачайте
Скопируйте сгенерированный текст в буфер обмена или скачайте как файл robots.txt. Загрузите его в корень вашего сайта.
Часто задаваемые вопросы
Был ли этот калькулятор полезен?
Инструмент справочный — не заменяет эксперта
Только для информационных целей. Все расчёты, результаты и данные, предоставляемые инструментом, носят исключительно ознакомительный и справочный характер. Они не являются профессиональной консультацией — медицинской, юридической, финансовой, инженерной или иной.
Точность результатов. Калькулятор основан на общепринятых формулах и методиках, однако фактические результаты могут отличаться в зависимости от индивидуальных условий, исходных данных и применяемых стандартов. Мы не гарантируем полноту, точность или актуальность приведённых расчётов.
Профессиональные решения — медицинские, финансовые, инженерные — должны приниматься только после консультации с квалифицированным специалистом. Не используйте автоматический расчёт как единственное основание для важных решений.
Ограничение ответственности. Авторы и разработчики сервиса не несут ответственности за прямой или косвенный ущерб, возникший из-за использования данных расчётов. Пользователь принимает на себя всю ответственность за интерпретацию результатов.
Похожие калькуляторы
Генератор schema.org разметки (JSON-LD)
Визуальный конструктор структурированных данных schema.org в формате JSON-LD. Поддержка Article, Product, FAQ, Organization и других типов.
/generator-schema-orgГенератор Open Graph тегов
Создание OG-тегов для корректного отображения ссылок в VK, Telegram, VK и Telegram. Предпросмотр карточки и готовый HTML-код.
/generator-open-graphГенератор .htaccess редиректов
Визуальный конструктор .htaccess для Apache. Создание редиректов 301/302, принудительный HTTPS, www, блокировка IP, кэширование и сжатие.
/generator-htaccessКалькулятор стоимости SEO продвижения сайта
Рассчитайте бюджет на SEO продвижение сайта в Яндексе и Google. Учёт региона, конкуренции, тематики и объёма работ. Актуальные цены 2024–2025.
/seo-cost-calculatorSEO-калькулятор: плотность ключевых слов, мета-теги, контент, бэклинки, трафик
Комплексный SEO-калькулятор: анализ плотности ключевых слов, проверка мета-тегов (Title, Description, H1), оценка качества контента и читабельности, ценность бэклинков (DA/DR, анкоры), прогноз трафика по позициям (CTR) и влияние скорости загрузки (Core Web Vitals) на конверсии.
/seo-calculatorГенератор Cubic Bezier (CSS transition)
Интерактивный генератор кривых Безье для CSS анимаций. Визуальная настройка плавности переходов, пресеты (ease, linear) и копирование кода.
/cubic-bezierКалькулятор код-ревью: время, размер PR, дефекты, нагрузка
Комплексный калькулятор код-ревью: оценка времени проверки кода, анализ размера PR (XS/S/M/L/XL), покрытие ревью и bus factor, плотность дефектов и escape rate, нагрузка команды ревьюеров, метрики качества (churn, rework, first-pass yield).
/code-review-calculatorКалькулятор теории цвета: гармония, конвертер, палитры, смешивание, дальтонизм
Комплексный инструмент для работы с цветом: цветовые гармонии (комплементарная, аналогичная, триадная, тетрадная), конвертер HEX/RGB/HSL/HSV/CMYK, генератор палитр (монохроматическая, shades, tints, tones), смешивание цветов (аддитивное/субтрактивное), симулятор дальтонизма и анализ цветовой температуры.
/color-theory-calculatorСчётчик символов и слов
Подсчёт символов, слов, предложений, абзацев. Время чтения, частота слов, проверка длины SEO-тегов.
/schyotchik-simvolov-slovКалькулятор градиентов и интерполяции цветов
Генератор плавных переходов между цветами. Создайте CSS градиент онлайн, получите коды цветов (HEX/RGB) и настройте количество шагов.
/color-gradientКалькулятор контрастности (WCAG), шрифтов и сетки
Инструменты UI/UX дизайнера. Проверка контрастности цветов (WCAG AA/AAA), расчет модульной сетки и подбор типографической шкалы.
/contrast-gridКалькулятор Responsive Margin/Padding (Clamp generator)
Генератор CSS функции clamp() для адаптивных отступов и шрифтов. Создайте отзывчивый дизайн (fluid spacing) от мобильных до десктопа онлайн.
/responsive-helperГенератор паролей (безопасный)
Создать надежный пароль онлайн. Настройка длины, символов. Оценка сложности и энтропии.
/password-generatorГенератор Cron выражений (Crontab)
Создать и расшифровать Cron выражения онлайн. Удобный генератор расписания для скриптов и серверов. Перевод на понятный язык.
/cron-expression-generatorКалькулятор IP маски подсети (CIDR) онлайн
Профессиональный сетевой калькулятор. Расчет маски подсети (Subnet Mask), CIDR, адреса сети, широковещательного адреса и диапазона хостов.
/ip-subnet-calculator