Khi muốn một trang biến mất khỏi Google, nhiều người vội chặn nó trong robots.txt. Đáng tiếc, đó thường là cách làm sai. Công cụ giúp bạn kiểm soát chính xác từng trang lại là một thẻ nhỏ nằm ngay trong mã nguồn: thẻ meta robots.
Thẻ meta robots trông như thế nào
Đây là một dòng HTML nằm trong khối <head> của trang. Ví dụ phổ biến nhất:
<meta name="robots" content="noindex, nofollow">Trong đó name="robots" nghĩa là quy tắc áp dụng cho mọi bot (con bọ thu thập dữ liệu). Phần content chứa các chỉ thị (directive — lệnh điều khiển) ngăn cách bằng dấu phẩy. Bạn cũng có thể nhắm riêng một bot, ví dụ name="googlebot" để chỉ áp dụng cho bot của Google.
Các chỉ thị thường dùng nhất
Theo tài liệu Google Search Central, những giá trị quan trọng bạn cần nắm gồm:
- noindex — không hiển thị trang này trên kết quả tìm kiếm. Đây là lệnh được dùng nhiều nhất.
- nofollow — không đi theo các liên kết trên trang (không truyền uy tín qua link).
- none — viết tắt của
noindex, nofollow. - nosnippet — không hiển thị đoạn mô tả trích dẫn dưới tiêu đề trên kết quả.
- max-snippet, max-image-preview, max-video-preview — giới hạn độ dài đoạn trích, cỡ ảnh xem trước, độ dài video xem trước.
- noimageindex — không lập chỉ mục ảnh trên trang.
- unavailable_after — gỡ trang khỏi kết quả sau một mốc thời gian định trước (hữu ích cho trang sự kiện, khuyến mãi hết hạn).
Lưu ý: một vài lệnh cũ như noarchive hay nocache nay không còn được Google sử dụng. Hai lệnh noindex và nofollow là độc lập, có thể kết hợp tuỳ ý.
Cặp đôi hay bị nhầm: noindex, follow
Một mẫu rất hữu ích là noindex, follow: bạn không muốn trang này lên kết quả, nhưng vẫn cho bot đi theo các link trên trang để nó khám phá tiếp những trang khác. Thường dùng cho trang phân trang, trang lọc sản phẩm, trang cảm ơn sau khi gửi form.
Vì sao meta robots KHÁC robots.txt
Đây là điểm gây sai lầm nhiều nhất, nên cần phân biệt rạch ròi:
| Tiêu chí | robots.txt | Thẻ meta robots |
|---|---|---|
| Kiểm soát điều gì | Việc thu thập (crawl — bò vào đọc trang) | Việc lập chỉ mục và hiển thị từng trang |
| Phạm vi | Toàn site, theo nhóm đường dẫn | Từng trang một |
| Đặt ở đâu | File /robots.txt ở gốc tên miền | Trong <head> của trang HTML |
| Có ngăn lên Google không | Không chắc chắn | Có, nếu dùng noindex |
Khác biệt cốt lõi: robots.txt chặn bot bò vào trang, còn meta robots ra lệnh cho bot sau khi đã bò vào. Chặn crawl không có nghĩa là chặn index. Google nói rõ: một URL bị chặn trong robots.txt vẫn có thể xuất hiện trên kết quả tìm kiếm nếu có trang khác trỏ link tới nó — chỉ là hiển thị trần trụi, không có đoạn mô tả.
Cạm bẫy chí mạng: chặn crawl thì noindex vô tác dụng
Đây là lỗi kinh điển. Nếu bạn vừa chặn một trang trong robots.txt, vừa đặt noindex trên trang đó, kết quả là noindex sẽ không bao giờ có hiệu lực. Lý do: bot bị robots.txt chặn ngoài cửa, không bò vào đọc được nội dung, nên không thấy thẻ noindex bên trong. Trang vẫn có thể bị lập chỉ mục.
Quy tắc đúng: muốn một trang biến mất khỏi Google, hãy để bot vào (không chặn trong robots.txt) và đặt noindex trên trang. Sau khi Google đã bò lại và gỡ trang khỏi chỉ mục, lúc đó mới chặn crawl nếu cần. Bạn có thể đối chiếu thêm cách viết file chặn ở bài robots.txt là gì.
X-Robots-Tag cho file không phải HTML
Thẻ meta chỉ nhét được vào trang HTML. Còn file PDF, ảnh, video thì sao? Lúc này dùng X-Robots-Tag — một header trả về trong phản hồi HTTP, mang đúng những lệnh như meta robots nhưng áp được cho mọi loại tài nguyên. Ví dụ muốn một file PDF không lên Google, bạn cấu hình máy chủ trả về header X-Robots-Tag: noindex cho file đó.
Cách kiểm tra trang đang dùng lệnh gì
- Mở trang, bấm chuột phải chọn “Xem nguồn trang”, tìm
name="robots"để đọc lệnh hiện tại. - Dùng công cụ Kiểm tra URL trong Google Search Console để xem Google đang hiểu trang là indexable hay không.
- Nếu dùng WordPress với Rank Math, mỗi bài/trang đều có ô bật/tắt
noindexngay trong phần cấu hình SEO.
Một điều cần kiên nhẫn: Google nói việc gỡ trang khỏi chỉ mục sau khi đặt noindex có thể mất từ vài ngày tới vài tháng, tuỳ mức độ quan trọng của trang — vì phải đợi bot bò lại. Lệnh không có hiệu lực tức thì.
Câu hỏi thường gặp
noindex và nofollow khác nhau ở đâu?
noindex ngăn chính trang lên kết quả tìm kiếm. nofollow chỉ bảo bot đừng đi theo các liên kết trên trang. Hai lệnh tách rời, có thể dùng riêng hoặc gộp.
Đặt noindex có làm trang nhanh rớt khỏi Google không?
Không tức thì. Google phải bò lại trang để thấy lệnh, quá trình này có thể kéo dài nhiều tuần. Đừng đồng thời chặn trang trong robots.txt, vì như vậy bot không vào đọc được lệnh.
Thẻ schema FAQ có giúp hiển thị câu hỏi trên Google không?
Không còn. Google đã ngừng hiển thị kết quả giàu thông tin (rich result) dạng FAQ. Bạn vẫn nên viết FAQ cho người đọc, nhưng đừng kỳ vọng nó hiện thành ô câu hỏi trên kết quả tìm kiếm.
Kiểm soát đúng việc lập chỉ mục là một mảnh của bức tranh SEO kỹ thuật lớn hơn. Nếu bạn muốn rà soát toàn bộ phần này một cách bài bản, Web22 có dịch vụ audit SEO kỹ thuật để soi từng trang đang chặn nhầm hay để hở.