ابنِ ملف robots.txt صالحًا مع قواعد allow وdisallow وcrawl-delay وsitemap.
تُعالَج الملفات في متصفحك ولا تُرفع أبدًا. يُنزّل الموقع الشيفرة والموارد اللازمة لتشغيل الأدوات. بلا حسابات أو تتبّع.
استخدم التنزيل لحفظ هذه الأداة كملف HTML واحد للعمل دون اتصال.
الخصوصية →— يظهر المخرج هنا —
أبقِ وكيل المستخدم User-agent: *، واحظر /admin/ و/cart/ في سطرين منفصلين، وأضف خريطة الموقع https://example.com/sitemap.xml. يسرد الملف قاعدتي Disallow وينتهي بسطر Sitemap.
يطلب robots.txt من الزواحف ألا تجلب الصفحات، لكنه لا يخفيها. قد تُفهرس صفحة محظورة إذا ربطت إليها مواقع أخرى، ويستطيع أي شخص قراءة الملف، فلا تذكر فيه مسارات سرية أبدًا. لإبقاء صفحة خارج نتائج البحث، اسمح بالزحف واستخدم noindex.
ينشئ ملف robots.txt متوافقًا مع المعايير من قواعد الزحف الخاصة بك. يُبنى الملف محليًا في متصفحك.