allow, disallow, crawl-delay और sitemap नियमों के साथ एक मान्य robots.txt बनाएं।
फ़ाइलें ब्राउज़र में प्रोसेस होती हैं, कभी अपलोड नहीं होतीं। साइट टूल चलाने के लिए ज़रूरी कोड और संसाधन डाउनलोड करती है। न खाता, न ट्रैकर।
इस टूल को एक HTML फ़ाइल में सहेजकर ऑफ़लाइन इस्तेमाल करने के लिए डाउनलोड करें।
गोपनीयता →— आउटपुट यहाँ दिखेगा —
यूज़र एजेंट User-agent: * ही रखें, /admin/ और /cart/ को अलग-अलग पंक्तियों में ब्लॉक करें और साइटमैप https://example.com/sitemap.xml जोड़ें। फ़ाइल में दोनों Disallow नियम होते हैं और अंत में Sitemap पंक्ति आती है।
robots.txt क्रॉलर से पेज न लाने का अनुरोध करता है; यह पेज छिपाता नहीं। ब्लॉक किया गया URL भी इंडेक्स हो सकता है अगर दूसरी साइटें उससे लिंक करें, और फ़ाइल कोई भी पढ़ सकता है, इसलिए गुप्त पथ कभी न लिखें। पेज को खोज परिणामों से बाहर रखने के लिए क्रॉलिंग की अनुमति दें और noindex इस्तेमाल करें।
आपके crawl नियमों से एक मानक-अनुरूप robots.txt फ़ाइल बनाता है। फ़ाइल आपके ब्राउज़र में स्थानीय रूप से बनती है।