O tym narzędziu
Generuje zgodny ze standardami plik robots.txt na podstawie Twoich reguł indeksowania. Plik jest budowany lokalnie w Twojej przeglądarce.
Najczęściej zadawane pytania
Gdzie umieścić plik robots.txt?
W katalogu głównym Twojej domeny, na przykład https://example.com/robots.txt, aby crawlery mogły go znaleźć.
Co robi dyrektywa Disallow?
Prosi dobrze zachowujące się crawlery, aby nie pobierały wymienionych ścieżek; jedna ścieżka w wierszu, zaczynająca się od ukośnika.