Zbuduj prawidłowy plik robots.txt z regułami allow, disallow, crawl-delay i sitemap.
Pliki są przetwarzane w przeglądarce, nigdy nie są wysyłane. Strona pobiera kod i zasoby potrzebne narzędziom. Bez kont i śledzenia.
Użyj przycisku Pobierz, aby zapisać narzędzie jako jeden plik HTML do pracy offline.
Prywatność →— wynik pojawi się tutaj —
Zostaw user agent jako User-agent: *, zablokuj /admin/ i /cart/ w osobnych wierszach i dodaj mapę witryny https://example.com/sitemap.xml. Plik zawiera obie reguły Disallow i kończy się wierszem Sitemap.
robots.txt prosi roboty, by nie pobierały stron; nie ukrywa ich. Zablokowany adres może zostać zaindeksowany, jeśli linkują do niego inne witryny, a plik może przeczytać każdy, więc nigdy nie wpisuj w nim tajnych ścieżek. Aby wykluczyć stronę z wyników, zezwól na indeksowanie przez roboty i użyj noindex.
Generuje zgodny ze standardami plik robots.txt na podstawie Twoich reguł indeksowania. Plik jest budowany lokalnie w Twojej przeglądarce.