SEO · бесплатный инструмент

Генератор robots.txt

Укажите, какие разделы сайта можно обходить поисковым роботам, и скачайте готовый robots.txt.

Режим индексации

Закрывает только перечисленные ниже разделы.

Для какого робота

Закрыть путиОдин путь на строку.Открыть исключенияИспользуйте, если внутри закрытого раздела есть публичная страница.

Адрес sitemap.xmlЗадержка обхода, секундНужна редко. Большая задержка замедлит обход сайта.

Данные обрабатываются только в этом браузере и не сохраняются в RepWay.

Готовый robots.txt

User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /search/

Sitemap: https://site.ru/sitemap.xml