Khi Google muốn hiển thị một trang trên kết quả tìm kiếm, việc đầu tiên con bot của Google phải làm là tải được nội dung trang đó về. Nếu bước tải này thất bại, mọi nỗ lực viết bài và tối ưu phía sau đều vô nghĩa. Bài viết này giải thích các nhóm lỗi thu thập phổ biến và cách bạn tự dò, tự sửa chúng.
Crawl error xuất hiện ở đâu trong quy trình của Google
Để một trang lên được Google, bot phải đi qua ba bước nối tiếp nhau: thu thập (crawl — tải nội dung trang về), kết xuất (render — dựng trang giống trình duyệt), rồi lập chỉ mục (index — đưa vào kho dữ liệu). Crawl error nằm ngay ở cửa đầu tiên. Khi Googlebot gửi yêu cầu đến một địa chỉ mà máy chủ trả về một mã trạng thái (status code — con số HTTP báo kết quả của yêu cầu) bất thường, hoặc không trả lời gì cả, trang đó bị đánh dấu là lỗi và gần như chắc chắn không được index.
Điều quan trọng cần phân biệt: crawl error là vấn đề ở khâu lấy dữ liệu, khác với một trang tải về thành công nhưng nội dung mỏng hay trùng lặp. Hai nhóm này nằm ở hai vị trí khác nhau trong báo cáo của Google và cần cách xử lý khác nhau.
Bốn nhóm crawl error thường gặp
1. Lỗi 404 (Not Found — không tìm thấy)
Đây là lỗi quen thuộc nhất. Máy chủ trả về mã 404 nghĩa là địa chỉ đó không tồn tại. Nguyên nhân hay gặp: bạn xoá một bài viết, đổi đường dẫn (URL) mà quên chuyển hướng, hoặc một liên kết nội bộ trỏ sai chính tả.
Bản thân 404 không phải lỗi xấu trong mọi trường hợp. Một trang đã xoá hẳn thì trả về 404 là đúng và lành mạnh. Vấn đề chỉ nghiêm trọng khi trang 404 đó từng có lượt truy cập, có liên kết trỏ tới, hoặc nằm trong sitemap (sơ đồ trang — danh sách URL bạn khai báo cho Google).
2. Soft 404 (404 mềm)
Đây là lỗi dễ gây hiểu lầm nhất. Soft 404 xảy ra khi một trang báo cho người dùng rằng “trang không tồn tại” hoặc gần như rỗng nội dung, nhưng máy chủ lại trả về mã 200 (thành công). Google phát hiện sự mâu thuẫn này bằng cách đọc nội dung trang, thấy nó là trang lỗi, rồi tự xếp vào diện soft 404.
Theo tài liệu của Google Search Central, các trang giỏ hàng trống, trang kết quả tìm kiếm nội bộ không có gì, hoặc trang sản phẩm hết hàng chỉ còn dòng “không tìm thấy” đều dễ bị gắn nhãn này. Soft 404 còn làm hao phí ngân sách thu thập (crawl budget — lượng tài nguyên Google dành để bò trang web của bạn), vì bot tốn công bò các trang vô giá trị thay vì trang tốt.
3. Server error (lỗi máy chủ — nhóm 5xx)
Khi máy chủ trả về mã bắt đầu bằng số 5 (như 500, 502, 503), nghĩa là phía máy chủ gặp sự cố và không phục vụ được yêu cầu. Nguyên nhân thường là máy chủ quá tải, cơ sở dữ liệu nghẽn, lỗi cấu hình, hoặc tường lửa/CDN chặn nhầm Googlebot. Đây là nhóm cần ưu tiên xử lý nhanh nhất vì nó chặn thẳng việc index và thường ảnh hưởng nhiều trang cùng lúc.
4. Redirect error (lỗi chuyển hướng)
Lỗi này phát sinh khi một chuyển hướng (redirect — đưa người dùng từ địa chỉ này sang địa chỉ khác) bị hỏng: chuỗi chuyển hướng quá dài, lặp vòng vô tận (trang A trỏ B, B trỏ lại A), hoặc đích đến cuối cùng lại là một trang 404 hoặc 5xx. Bot đi tới một lúc thì bỏ cuộc. Nếu bạn đang dùng chuyển hướng 301 vĩnh viễn sai cách, lỗi này rất dễ xuất hiện.
Tìm crawl error trong Search Console
Google Search Console (công cụ quản trị website miễn phí của Google) là nơi chính thống để dò các lỗi này. Bạn vào báo cáo Lập chỉ mục trang (Page indexing), kéo xuống mục “Vì sao các trang không được lập chỉ mục”. Tại đây bạn sẽ thấy danh sách trạng thái như “Không tìm thấy (404)”, “Soft 404”, “Lỗi máy chủ (5xx)”, “Lỗi chuyển hướng” cùng số lượng URL dính mỗi loại.
Để soi một trang cụ thể, dùng công cụ Kiểm tra URL (URL Inspection). Nó cho biết trang có index được không, lần thu thập gần nhất ra sao, và mã trạng thái máy chủ trả về. Ngoài ra, báo cáo Số liệu thống kê thu thập (Crawl Stats) giúp bạn nhìn xu hướng: nếu thấy đường biểu thị phản hồi máy chủ tăng vọt, đó là dấu hiệu sự cố hạ tầng.
Cách sửa từng loại lỗi
| Loại lỗi | Cách xử lý đúng |
|---|---|
| 404 trên trang đã xoá hẳn | Để nguyên 404 (hoặc dùng 410 — gone, đã biến mất). Đây là hành vi lành mạnh. |
| 404 trên trang có giá trị | Khôi phục trang, hoặc 301 sang trang thay thế gần nhất. Sửa liên kết nội bộ trỏ sai. |
| Soft 404 | Nếu trang còn nội dung thật: bổ sung nội dung cho đủ đầy. Nếu trang đã chết: trả về 404/410 đúng nghĩa. |
| Server error (5xx) | Kiểm tra log máy chủ, dung lượng, cấu hình; gỡ chặn nhầm Googlebot ở tường lửa/CDN. |
| Redirect error | Rút ngắn chuỗi chuyển hướng, phá vòng lặp, trỏ thẳng tới đích sống cuối cùng. |
Sau khi sửa, quay lại báo cáo trong Search Console và bấm Xác thực bản sửa lỗi (Validate fix). Google sẽ thu thập lại các URL đó và cập nhật trạng thái sau vài ngày. Đừng nóng vội bấm nhiều lần — quá trình kiểm tra cần thời gian.
Vài lưu ý để tránh hiểu sai
Không phải cứ thấy 404 là phải xoá sạch. Một website khoẻ mạnh luôn có một lượng 404 tự nhiên từ các trang đã ngừng. Việc của bạn là phân loại: cái nào đáng cứu, cái nào để yên. Tương tự, các trang bị chặn bởi file robots.txt hay gắn thẻ noindex không phải là crawl error theo nghĩa máy chủ trả lỗi — chúng là lựa chọn có chủ đích, nên đừng nhầm lẫn khi đọc báo cáo. Crawl error chỉ là một mảnh trong bức tranh SEO kỹ thuật tổng thể; sửa lỗi thu thập là điều kiện cần để Google có thể đọc và xếp hạng trang của bạn.
Câu hỏi thường gặp
Crawl error có làm tụt thứ hạng không?
Một trang dính crawl error gần như không thể được index, nên không có cơ hội xếp hạng. Nếu lỗi 5xx lan rộng cả site, nó ảnh hưởng tiêu cực đến khả năng Google đọc toàn bộ trang.
Bao lâu thì lỗi biến mất sau khi sửa?
Tuỳ tần suất Google quay lại bò trang, thường từ vài ngày đến vài tuần. Bấm “Xác thực bản sửa lỗi” trong Search Console để báo cho Google kiểm tra lại sớm hơn.
Trang 404 có cần chuyển hướng hết không?
Không. Chỉ chuyển hướng những trang 404 còn giá trị (có liên kết, có lượt truy cập). Trang đã chết hẳn nên để trả về 404 hoặc 410 cho đúng bản chất.
Nếu website của bạn liên tục báo lỗi thu thập khó xử lý, dịch vụ SEO của Web22 có thể rà soát phần kỹ thuật giúp bạn.