Створіть коректний robots.txt із правилами allow, disallow, crawl-delay і sitemap.
Файли обробляються у браузері й не надсилаються на сервер. Сайт завантажує код і ресурси для роботи інструментів. Без акаунтів і трекерів.
Натисніть «Завантажити», щоб зберегти інструмент одним HTML-файлом для роботи офлайн.
Конфіденційність →— результат з’явиться тут —
Залиште агент User-agent: *, заборонте /admin/ і /cart/ окремими рядками й додайте мапу сайту https://example.com/sitemap.xml. У файлі будуть обидва правила Disallow і рядок Sitemap наприкінці.
robots.txt просить роботів не завантажувати сторінки, але не ховає їх. Закритий URL усе одно може потрапити в індекс, якщо на нього посилаються інші сайти, а файл може прочитати будь-хто, тож не вказуйте в ньому секретних шляхів. Щоб прибрати сторінку з видачі, дозвольте сканування й використайте noindex.
Генерує файл robots.txt, що відповідає стандартам, на основі ваших правил сканування. Файл створюється локально у вашому браузері.