Robots.txt là một tệp văn bản (không phải html) mà bạn đặt trên trang web của mình để thông báo cho rô-bốt tìm kiếm những trang mà bạn không muốn chúng truy cập. Robots.txt không có nghĩa là bắt buộc đối với các công cụ tìm kiếm nhưng nói chung các công cụ tìm kiếm tuân theo những gì chúng được yêu cầu không làm. Điều quan trọng là phải làm rõ rằng robots.txt không phải là cách ngăn công cụ tìm kiếm thu thập dữ liệu trang web của bạn (nghĩa là nó không phải là tường lửa hoặc một loại bảo vệ bằng mật khẩu) và việc bạn đặt tệp robots.txt giống như ghi chú “Vui lòng không vào” trên một cánh cửa không khóa.

Bạn có thể chạy thành công trang web của mình mà không cần tệp robots.txt. Trước khi công cụ tìm kiếm thu thập dữ liệu trang web của bạn, nó sẽ xem tệp robots.txt của bạn dưới dạng hướng dẫn về nơi chúng được phép thu thập thông tin (truy cập) và lập chỉ mục (lưu) trên kết quả của công cụ tìm kiếm.