ساخت یک robots.txt معتبر با قوانین allow، disallow، crawl-delay و sitemap.
فایل‌ها در مرورگرتان پردازش می‌شوند و هرگز بارگذاری نمی‌شوند. سایت کد و منابع لازم برای اجرای ابزارها را دریافت می‌کند. بدون حساب یا ردیاب.
با گزینهٔ دانلود، این ابزار را در یک فایل HTML ذخیره کنید تا آفلاین استفاده شود.
حریم خصوصی →— خروجی اینجا نمایش داده میشود —
عامل کاربر را User-agent: * نگه دارید، /admin/ و /cart/ را در خطوط جدا مسدود کنید و نقشه سایت https://example.com/sitemap.xml را اضافه کنید. فایل هر دو قاعده Disallow را فهرست می‌کند و با یک خط Sitemap تمام میشود.
robots.txt از خزنده‌ها میخواهد صفحه‌ها را دریافت نکنند، اما آن‌ها را پنهان نمی‌کند. نشانی مسدودشده اگر سایت‌های دیگر به آن پیوند بدهند همچنان ممکن است نمایه شود، و هر کسی می‌تواند فایل را بخواند، پس هرگز مسیرهای مخفی را در آن ننویسید. برای بیرون نگه داشتن صفحه از نتایج جست‌وجو، اجازه خزش بدهید و از noindex استفاده کنید.
یک فایل robots.txt سازگار با استانداردها را از روی قوانین خزش شما تولید می‌کند. فایل به‌صورت محلی در مرورگر شما ساخته میشود.