Создавайте корректный robots.txt с правилами allow, disallow, crawl-delay и sitemap.
Файлы обрабатываются в браузере и не отправляются на сервер. Сайт загружает код и ресурсы для работы инструментов. Без аккаунтов и трекеров.
Нажмите «Скачать», чтобы сохранить инструмент одним HTML-файлом для работы офлайн.
Конфиденциальность →— результат появится здесь —
Оставьте агент User-agent: *, запретите /admin/ и /cart/ отдельными строками и добавьте карту сайта https://example.com/sitemap.xml. В файле будут оба правила Disallow и строка Sitemap в конце.
robots.txt просит роботов не загружать страницы, но не скрывает их. Закрытый URL всё равно может попасть в индекс, если на него ссылаются другие сайты, а файл может прочитать любой, поэтому не указывайте в нём секретные пути. Чтобы убрать страницу из выдачи, разрешите сканирование и используйте noindex.
Генерирует файл robots.txt, соответствующий стандартам, на основе ваших правил обхода. Файл создаётся локально в вашем браузере.