Bangun robots.txt yang valid dengan aturan allow, disallow, crawl-delay, dan sitemap.
File diproses di browser, tidak pernah diunggah. Situs mengunduh kode dan aset yang diperlukan alat. Tanpa akun atau pelacak.
Gunakan Unduh untuk menyimpan alat ini sebagai satu file HTML untuk penggunaan offline.
Privasi →— keluaran muncul di sini —
Biarkan user agent sebagai User-agent: *, blokir /admin/ dan /cart/ di baris terpisah, lalu tambahkan sitemap https://example.com/sitemap.xml. File berisi kedua aturan Disallow dan diakhiri baris Sitemap.
robots.txt meminta crawler untuk tidak mengambil halaman; file ini tidak menyembunyikannya. URL yang diblokir tetap bisa terindeks jika situs lain menautkannya, dan siapa pun bisa membaca file ini, jadi jangan pernah mencantumkan path rahasia. Agar halaman tidak muncul di hasil pencarian, izinkan crawling dan gunakan noindex.
Menghasilkan file robots.txt yang sesuai standar dari aturan crawl Anda. File dibangun secara lokal di browser Anda.