Tạo file robots.txt hợp lệ với các quy tắc allow, disallow, crawl-delay và sitemap.
Tệp được xử lý trong trình duyệt, không bao giờ tải lên máy chủ. Trang web tải mã và tài nguyên cần thiết để chạy công cụ. Không tài khoản hay theo dõi.
Dùng Tải xuống để lưu công cụ thành một tệp HTML dùng ngoại tuyến.
Quyền riêng tư →— kết quả hiển thị ở đây —
Giữ user agent là User-agent: *, chặn /admin/ và /cart/ trên các dòng riêng và thêm sitemap https://example.com/sitemap.xml. Tệp liệt kê cả hai quy tắc Disallow và kết thúc bằng dòng Sitemap.
robots.txt yêu cầu trình thu thập không tải trang; nó không ẩn trang. URL bị chặn vẫn có thể được lập chỉ mục nếu trang khác liên kết tới, và ai cũng đọc được tệp này, nên đừng bao giờ ghi đường dẫn bí mật. Để loại một trang khỏi kết quả tìm kiếm, hãy cho phép thu thập và dùng noindex.
Tạo file robots.txt tuân thủ chuẩn từ các quy tắc thu thập của bạn. File được tạo cục bộ ngay trong trình duyệt.