Khi tối ưu hóa trang web của chúng tôi về khả năng thu thập dữ liệu, mục tiêu chính của chúng tôi là đảm bảo rằng các công cụ tìm kiếm đang dành thời gian của họ trên các trang quan trọng nhất của chúng tôi để chúng được thu thập thường xuyên và có thể tìm thấy bất kỳ nội dung mới nào.
Mỗi lần Googlebot truy cập trang web của bạn, nó có một cửa sổ giới hạn để thu thập dữ liệu và khám phá càng nhiều trang và liên kết trên trang web của bạn càng tốt. Khi giới hạn đó được đạt, nó sẽ dừng lại.
Thời gian để các trang của bạn được xem lại tùy thuộc vào một số yếu tố khác nhau có liên quan đến cách Google ưu tiên URL để thu thập thông tin, bao gồm:
Cùng tham khảo kiến thức tại
Seo để cập nhật thông tin mới nhất.
TrangRank.
Bao gồm sơ đồ trang web XML.
Vị trí trong kiến trúc của trang web.
Tần suất trang thay đổi.
Và hơn thế nữa.
Điểm mấu chốt là: trang web của bạn chỉ thu hút sự chú ý của Googlebot trong một khoảng thời gian hữu hạn với mỗi lần thu thập thông tin, điều này có thể không thường xuyên. Hãy chắc chắn rằng thời gian được sử dụng một cách khôn ngoan.
Thật khó để biết bắt đầu từ đâu khi phân tích trang web của bạn được tối ưu hóa tốt như thế nào đối với các trình thu thập công cụ tìm kiếm, đặc biệt là khi bạn làm việc trên một trang web lớn có nhiều URL để phân tích hoặc làm việc trong một công ty lớn có nhiều đối thủ cạnh tranh ưu tiên và sửa lỗi SEO nổi bật để ưu tiên.
Đó là lý do tại sao tôi tập hợp danh sách kiểm tra cấp cao nhất này để đánh giá vệ sinh bò để cung cấp cho bạn một điểm khởi đầu cho phân tích của bạn.
1. Có bao nhiêu trang đang được lập chỉ mục so với bao nhiêu trang có thể lập chỉ mục trên trang web?
Tại sao điều này lại quan trọng
Điều này cho bạn thấy có bao nhiêu trang trên trang web của bạn có sẵn để Google lập chỉ mục và bao nhiêu trang trong số đó Google thực sự có thể tìm thấy và bao nhiêu trang được xác định là đủ quan trọng để được lập chỉ mục.
Một biểu đồ hình tròn có thể lập chỉ mục trong DeepCrawl
Biểu đồ thanh hiển thị các trang được lập chỉ mục trong Google Search Console
2. Có bao nhiêu trang đang được thu thập tổng thể?
Tại sao điều này lại quan trọng
So sánh hoạt động thu thập dữ liệu của Googlebot với số trang bạn có trên trang web của bạn có thể cung cấp cho bạn thông tin chi tiết về số lượng trang Google không thể truy cập hoặc đã xác định không đủ ưu tiên để lên lịch để được thu thập thông tin thường xuyên.
Thu thập dữ liệu biểu đồ dòng thống kê trong Google Search Console
Biểu đồ thanh hiển thị Googlebot thu thập dữ liệu trong Logz.io
3. Có bao nhiêu trang không thể lập chỉ mục?
Tại sao điều này lại quan trọng
Dành thời gian để thu thập dữ liệu các trang không thể lập chỉ mục không phải là cách sử dụng ngân sách thu thập dữ liệu tốt nhất của Google . Kiểm tra xem có bao nhiêu trang trong số này đang được thu thập thông tin và liệu có nên cung cấp bất kỳ trang nào trong số chúng để lập chỉ mục hay không.
Biểu đồ thanh hiển thị các trang không thể lập chỉ mục trong DeepCrawl
4. Có bao nhiêu URL không được phép thu thập dữ liệu?
Tại sao điều này lại quan trọng
Điều này sẽ cho bạn thấy có bao nhiêu trang bạn đang ngăn công cụ tìm kiếm truy cập trên trang web của bạn. Điều quan trọng là đảm bảo rằng các trang này không quan trọng để lập chỉ mục hoặc khám phá các trang tiếp theo để thu thập thông tin.
Biểu đồ thanh hiển thị các trang bị chặn bởi tệp robots.txt trong Google Search Console
5. Có bao nhiêu trang có giá trị thấp đang được lập chỉ mục?
Tại sao điều này lại quan trọng
Nhìn vào những trang mà Google đã lập chỉ mục trên trang web của bạn sẽ đưa ra một dấu hiệu vào các khu vực của trang web mà trình thu thập thông tin có thể truy cập.
Ví dụ: đây có thể là các trang mà bạn chưa bao gồm trong sơ đồ trang web của mình vì chúng có chất lượng thấp, nhưng dù sao cũng đã được tìm thấy và lập chỉ mục.
Biểu đồ thanh hiển thị các trang được lập chỉ mục nhưng không được gửi trong sơ đồ trang web trong Google Search Console
6. Có bao nhiêu trang lỗi 4xx đang được thu thập thông tin?
Tại sao điều này lại quan trọng
Điều quan trọng là đảm bảo rằng ngân sách thu thập dữ liệu không được sử dụng hết trên các trang lỗi thay vì các trang mà bạn muốn lập chỉ mục.
Googlebot sẽ định kỳ thu thập dữ liệu các trang lỗi 404 để xem trang đó có hoạt động trở lại hay không, vì vậy hãy đảm bảo bạn sử dụng đúng 410 mã trạng thái để hiển thị rằng các trang đã biến mất và không cần phải thu thập lại.
Biểu đồ đường hiển thị các trang bị hỏng trong DeepCrawl
Bảo vệ quảng cáo PPC của bạn khỏi các đối thủ cạnh tranh và clickbots.
Tự động bảo vệ quảng cáo của bạn khỏi các đối thủ cạnh tranh, bot, trang trại nhấp chuột và các hình thức gian lận nhấp chuột khác. Thiết lập đơn giản. Bắt đầu thử nghiệm miễn phí ngay hôm nay.
Bắt đầu dùng thử miễn phí
QUẢNG CÁO
7. Có bao nhiêu chuyển hướng nội bộ đang được thu thập thông tin?
Tại sao điều này lại quan trọng
Mỗi yêu cầu mà Googlebot đưa ra trên một trang web sử dụng hết ngân sách thu thập thông tin và điều này bao gồm mọi yêu cầu bổ sung trong mỗi bước trong chuỗi chuyển hướng.
Giúp Google thu thập dữ liệu hiệu quả hơn và tiết kiệm ngân sách thu thập dữ liệu bằng cách đảm bảo chỉ các trang có 200 mã trạng thái được liên kết đến trong trang web của bạn và giảm số lượng yêu cầu được gửi đến các trang không có URL đích cuối cùng.
Báo cáo chuỗi chuyển hướng trong DeepCrawl
8. Có bao nhiêu trang Canonical so với các trang Canonicalized?
Tại sao điều này lại quan trọng
Số lượng các trang được chuẩn hóa trên trang web của bạn cho biết số lượng trùng lặp trên trang web của bạn là bao nhiêu. Mặc dù các thẻ chính tắc hợp nhất vốn chủ sở hữu liên kết giữa các bộ trang trùng lặp, chúng không giúp thu thập ngân sách.
Google sẽ chọn lập chỉ mục một trang trong số các trang được hợp quy hóa, nhưng để có thể quyết định trang nào là trang chính, trước tiên, nó sẽ phải thu thập dữ liệu tất cả chúng.
Biểu đồ hình tròn hiển thị các trang chuẩn trong DeepCrawl
9. Có bao nhiêu trang được trang trí hoặc mặt được thu thập thông tin?
Tại sao điều này lại quan trọng
Google chỉ cần thu thập dữ liệu các trang có nội dung chưa được phát hiện hoặc các URL không được liên kết.
Phân trang và các khía cạnh thường là một nguồn của các URL và bẫy trình thu thập thông tin trùng lặp, vì vậy hãy đảm bảo rằng các trang này không bao gồm bất kỳ nội dung hoặc liên kết duy nhất nào không được thu thập thông tin một cách không cần thiết.
Vì rel = next và rel = trước không còn được Google hỗ trợ , hãy đảm bảo liên kết nội bộ của bạn được tối ưu hóa để giảm sự phụ thuộc vào phân trang để khám phá trang.
Biểu đồ hình tròn hiển thị phân tích phân trang trong DeepCrawl
10. Có sự không phù hợp trong Khám phá Trang qua các nguồn thu thập dữ liệu không?
Tại sao điều này lại quan trọng
Nếu bạn đang thấy các trang được người dùng truy cập thông qua dữ liệu phân tích của bạn không được công cụ tìm kiếm thu thập trong dữ liệu tệp nhật ký của bạn, thì đó có thể là do các trang này không thể tìm thấy đối với các công cụ tìm kiếm như đối với người dùng.
Bằng cách tích hợp các nguồn dữ liệu khác nhau với dữ liệu thu thập dữ liệu của bạn, bạn có thể phát hiện ra những khoảng trống nơi các công cụ tìm kiếm không thể dễ dàng tìm thấy các trang.
Hai nguồn phát hiện URL chính của Google là các liên kết bên ngoài và sơ đồ trang XML, vì vậy nếu bạn gặp sự cố khi Google thu thập dữ liệu trang của bạn, hãy đảm bảo chúng được đưa vào sơ đồ trang web của bạn nếu chúng chưa được liên kết đến từ bất kỳ trang web nào khác Google đã biết và thu thập dữ liệu thường xuyên.
Biểu đồ thanh hiển thị các khoảng trống nguồn thu thập dữ liệu trong DeepCrawl
Tóm lại
Bằng cách chạy qua 10 kiểm tra này cho các trang web mà bạn quản lý, bạn sẽ có thể hiểu rõ hơn về khả năng thu thập dữ liệu và sức khỏe kỹ thuật tổng thể của một trang web.
Khi bạn xác định các khu vực thu thập dữ liệu chất thải, bạn có thể hướng dẫn Google thu thập dữ liệu ít hơn các trang đó bằng cách sử dụng các phương pháp như không cho phép chúng trong tệp robots.txt.
Sau đó, bạn có thể bắt đầu tác động đến nó để thu thập thêm các trang quan trọng của mình bằng cách tối ưu hóa kiến trúc và liên kết nội bộ của trang web để làm cho chúng nổi bật hơn và có thể khám phá hơn.
»
Rao vặt
»
Tuyển sinh - đào tạo
»
Đào tạo
