Để trả lời câu hỏi này, tôi cần giải thích mục đích của tệp robots.txt trên bất kỳ trang web nào là gì.

Bằng ngôn ngữ đơn giản:

Để bất kỳ trang web nào hoặc bất kỳ trang web nào của nó xếp hạng trên Google, trước tiên, nó phải được công cụ tìm kiếm thu thập dữ liệu… điều này được thực hiện để Google có thể hiểu nội dung trang web của bạn hoặc nói trang web.

Điều này sẽ giúp Google hiển thị trang web của bạn cho các truy vấn tìm kiếm phù hợp được nhập trên thanh tìm kiếm.

Hiện nay,

Tệp robots.txt được thêm vào để ngăn không cho Google thu thập dữ liệu các trang nhất định hoặc chọn lọc trên trang web của bạn .

Điều này được thực hiện bởi vì bạn không muốn các trang web đó được lập chỉ mục hoặc hiển thị trong bảng xếp hạng tìm kiếm.

Nhưng tại sao bạn sẽ muốn điều đó?

Tại sao bất cứ ai sẽ muốn một cái gì đó như thế?

Hãy đi qua một số ví dụ:

1. Hãy tưởng tượng một trang web ngân hàng,

nó sẽ có các chi tiết riêng tư của khách hàng như số tài khoản, mã PIN, số điện thoại di động, v.v.

Dữ liệu này quá nhạy cảm để rơi vào tay kẻ xấu hoặc bị công khai.

Vì vậy, những gì các trang web ngân hàng làm là họ sẽ thêm các trang web chứa dữ liệu đó vào tệp robots.txt. Bằng cách đó, Google sẽ không thể thu thập dữ liệu các trang web đó và do đó chúng sẽ không bao giờ xếp hạng tức là thông tin của bạn an toàn.

.

Hãy lấy một ví dụ khác :

Hãy tưởng tượng rằng trang web của bạn có một số trang web bị lỗi,

• nội dung trên chúng dưới mức trung bình
• chứa các liên kết bị hỏng
• bố cục cũng không ấn tượng

.

Bây giờ vấn đề là xếp hạng trang web của bạn sẽ bị ảnh hưởng bởi chất lượng của TẤT CẢ các trang web của nó (bao gồm cả những trang bị lỗi)

Để đảm bảo rằng trong khi bạn đang cố gắng sửa những trang đó, thứ hạng của trang web của bạn không bị ảnh hưởng, điều bạn có thể làm là…

đưa các trang web đó vào tệp robots.txt.

Bằng cách đó bạn…

• không phải tạo các trang web mới từ đầu
• Trang web của bạn sẽ tiếp tục xếp hạng
• Bạn có thể thực hiện các thay đổi theo tốc độ của mình và cập nhật chúng trên trang web của bạn

.

Bạn đang nhận được nó phải không?

Tuyệt vời 😃

.

Hiện nay,

đến với câu hỏi của bạn –

Có cần thiết phải có tệp Robots.txt trên trang web của bạn không?

Câu trả lời thẳng thắn là KHÔNG.

Nếu trang web của bạn đang hoạt động tốt và bạn không có BẤT KỲ trang web nào bị lỗi thì việc thêm tệp rô bốt sẽ không có ý nghĩa gì, nhưng…

nếu trang web của bạn có một số vấn đề nhất định (có thể là bất kỳ vấn đề gì) do đó bạn không muốn những vấn đề đó được lập chỉ mục,… thì bạn đã biết cần phải làm gì.

.

Nếu bạn đang tạo trang web của mình trên WordPress thì sẽ không mất quá 5 phút, trong phần phụ trợ, bạn sẽ nhận được các công cụ giúp bạn tải lên các tệp txt của mình chỉ bằng một cú nhấp chuột.

Vì vậy, điều quan trọng là bạn phải ghi nhớ bài học này NGAY CẢ khi mọi thứ dường như đang diễn ra tốt đẹp, bởi vì bạn không bao giờ biết được trường hợp khẩn cấp nào có thể xảy ra.