allow, disallow, crawl-delay ve sitemap kurallarıyla geçerli bir robots.txt oluşturun.
Dosyalar tarayıcınızda işlenir, asla sunucuya yüklenmez. Site, araçları çalıştırmak için gereken kod ve kaynakları indirir. Hesap veya takip yoktur.
Bu aracı çevrimdışı kullanım için tek bir HTML dosyası olarak kaydetmek üzere İndir'i kullanın.
Gizlilik →— çıktı burada görünür —
Kullanıcı aracısını User-agent: * olarak bırakın, /admin/ ve /cart/ yollarını ayrı satırlarda engelleyin ve https://example.com/sitemap.xml site haritasını ekleyin. Dosya iki Disallow kuralını listeler ve bir Sitemap satırıyla biter.
robots.txt tarayıcılardan sayfaları çekmemelerini ister; onları gizlemez. Engellenen bir URL, başka siteler ona bağlantı verirse yine dizine eklenebilir ve dosyayı herkes okuyabilir; bu yüzden gizli yolları asla yazmayın. Bir sayfayı arama sonuçlarının dışında tutmak için taramaya izin verin ve noindex kullanın.
Tarama kurallarınızdan standartlara uygun bir robots.txt dosyası oluşturur. Dosya tarayıcınızda yerel olarak üretilir.