สร้างไฟล์ robots.txt ที่ถูกต้องด้วยกฎ allow, disallow, crawl-delay และ sitemap
ไฟล์ประมวลผลในเบราว์เซอร์และไม่ถูกอัปโหลด เว็บไซต์จะดาวน์โหลดโค้ดและทรัพยากรที่จำเป็นต่อเครื่องมือ ไม่ต้องมีบัญชีและไม่มีตัวติดตาม
ใช้ปุ่มดาวน์โหลดเพื่อบันทึกเครื่องมือนี้เป็นไฟล์ HTML ไฟล์เดียวสำหรับใช้ออฟไลน์
ความเป็นส่วนตัว →— ผลลัพธ์จะแสดงที่นี่ —
คง user agent ไว้เป็น User-agent: * บล็อก /admin/ และ /cart/ คนละบรรทัด แล้วเพิ่มไซต์แมป https://example.com/sitemap.xml ไฟล์จะมีกฎ Disallow ทั้งสองข้อและปิดท้ายด้วยบรรทัด Sitemap
robots.txt ขอให้โปรแกรมรวบรวมข้อมูลไม่ดึงหน้า แต่ไม่ได้ซ่อนหน้าเหล่านั้น URL ที่ถูกบล็อกยังอาจถูกจัดทำดัชนีได้หากเว็บอื่นลิงก์มา และใครก็อ่านไฟล์นี้ได้ จึงไม่ควรใส่พาธลับ หากต้องการให้หน้าไม่ปรากฏในผลการค้นหา ให้อนุญาตการรวบรวมข้อมูลและใช้ noindex
สร้างไฟล์ robots.txt ที่เป็นไปตามมาตรฐานจากกฎการรวบรวมข้อมูลของคุณ ไฟล์ถูกสร้างขึ้นภายในเบราว์เซอร์ของคุณ