Nếu Google không index trang web của bạn thì bạn sẽ không thể lên top Google. Bạn sẽ không xuất hiện cho bất kỳ truy vấn tìm kiếm nào và bạn sẽ không nhận được bất kỳ lưu lượng truy cập tự nhiên nào. Bài viết này hướng dẫn bạn cách khắc phục bất kỳ sự cố nào trong ba sự cố sau:
- Toàn bộ trang web của bạn không được index
- Một số trang của bạn được index, nhưng những trang khác thì không.
- Các trang web mới xuất bản của bạn không được index đủ nhanh.
Nhưng trước tiên, hãy đảm bảo rằng chúng ta đang ở trên cùng một trang và hiểu đầy đủ về lỗi index này.
I. Crawl và index là gì?
Google phát hiện ra các trang web mới bằng cách thu thập dữ liệu web, sau đó họ thêm các trang đó vào chỉ mục của mình. Họ làm điều này bằng cách sử dụng một công cụ có tên là Googlebot .
Bạn chưa thật sự hiểu rõ về các thuật ngữ này đúng không? Chúng ta sẽ tìm hiểu từ từ trong bài viết này.
- Crawl: Quá trình theo dõi các siêu liên kết trên web để khám phá nội dung mới.
- Index: Quá trình lưu trữ mọi trang web trong một cơ sở dữ liệu rộng lớn.
- Web spider: Một phần mềm được thiết kế để thực hiện quá trình thu thập thông tin trên quy mô lớn.
- Googlebot: web spider của Google .
Đây là video từ Google giải thích chi tiết hơn về quy trình:
https://www.youtube.com/watch?v=BNHR6IQJGZs
Khi bạn Google điều gì đó, bạn đang yêu cầu Google trả lại tất cả các trang có liên quan từ chỉ mục của họ. Bởi vì có hàng triệu trang phù hợp với yêu cầu, thuật toán xếp hạng của Google sẽ cố gắng hết sức để sắp xếp các trang sao cho bạn thấy kết quả tốt nhất và phù hợp nhất trước tiên. Điểm mấu chốt mà Quyết đang đưa ra ở đây là index và xếp hạng là hai thứ khác nhau. Bởi vì Index đang hiển thị cho cuộc đua còn xếp hạng là chiến thắng. Bạn không thể giành chiến thắng nếu không xuất hiện trong cuộc đua ngay từ đầu.
II. Cách kiểm tra xem bạn có được lập chỉ mục trong Google hay không
Bạn có thể truy cập Google, sau đó tìm kiếm site:yourwebsite.com. Con số này hiển thị gần đúng số lượng trang của bạn mà Google đã index. Nếu bạn muốn kiểm tra trạng thái chỉ mục của một URL cụ thể, hãy sử dụng cùng một toán tử site:yourwebsite.com/web-page-slug. Bạn sẽ không có kết quả nào sẽ hiển thị nếu trang không được index.
Bây giờ, cần lưu ý rằng nếu bạn là người dùng Google Search Console, bạn có thể sử dụng báo cáo Coverage phù hợp để có cái nhìn sâu sắc chính xác hơn về trạng thái index của trang web của bạn. Chỉ cần truy cập: Google Search Console > Index > Coverage. Nhìn vào số lượng trang hợp lệ (có và không có cảnh báo).
Nếu hai con số này có tổng số bất kỳ trừ 0, thì Google có ít nhất một số trang trên trang web của bạn được index. Nếu không, thì bạn đang gặp vấn đề nghiêm trọng vì không có trang web nào của bạn được index.
Chú thích: Bạn không phải là người dùng Google Search Console? Bạn nên đăng ký ngay bởi nó miễn phí. Tất cả những người điều hành một trang web và quan tâm đến việc nhận được lưu lượng truy cập từ Google nên sử dụng Google Search Console.
Bạn cũng có thể sử dụng Search Console để kiểm tra xem một trang cụ thể có được lập chỉ mục hay không. Để làm điều đó, hãy dán URL vào công cụ Kiểm tra URL .
- Nếu trang đó được lập chỉ mục, nó sẽ thông báo “URL có trên Google.”
- Nếu trang không được lập chỉ mục, bạn sẽ thấy dòng chữ “URL không có trên Google.”
III. Cách được Google index
Bạn thấy rằng trang web hoặc trang web của bạn không được lập chỉ mục trong Google? Thử cái này:
- Đi tới Google Search Console
- Điều hướng đến công cụ kiểm tra URL
- Dán URL bạn muốn Google lập chỉ mục vào thanh tìm kiếm.
- Chờ Google kiểm tra URL
- Nhấp vào nút “Request indexing”
Quá trình này là thực hành tốt khi bạn xuất bản một bài đăng hoặc trang mới. Bạn đang nói với Google một cách hiệu quả rằng bạn đã thêm một cái gì đó mới vào trang web của mình và họ nên xem xét nó.
Tuy nhiên, yêu cầu index không có khả năng giải quyết các vấn đề cơ bản ngăn Google index các trang cũ. Nếu đúng như vậy, hãy làm theo danh sách kiểm tra bên dưới để chẩn đoán và khắc phục sự cố.
Dưới đây là một số liên kết nhanh đến từng chiến thuật trong trường hợp bạn đã thử một số:
- Xóa các khối thu thập thông tin trong tệp robots.txt của bạn
- Xóa thẻ ngăn index giả mạo
- Đưa trang vào sitemap của bạn
- Xóa các thẻ chuẩn giả mạo
- Kiểm tra để đảm bảo rằng trang không bị bỏ sót
- Sửa các internal link nofollow
- Thêm internal link “mạnh mẽ”
- Đảm bảo trang có giá trị và duy nhất
- Xóa các trang chất lượng thấp (để tối ưu hóa “ngân sách thu thập thông tin”)
- Xây dựng các backlink chất lượng cao
1. Xóa các khối thu thập thông tin trong tệp robots.txt của bạn
Google không index toàn bộ trang web của bạn? Đó có thể là do khối thu thập thông tin trong một thứ được gọi là tệp robots.txt. Để kiểm tra vấn đề này, hãy truy cập yourdomain.com/robots.txt.
Tìm một trong hai đoạn mã sau:
User-agent: Googlebot
Disallow: /
hoặc
User-agent: *
Disallow: /
Cả hai điều này đều cho Googlebot biết rằng chúng không được phép thu thập dữ liệu bất kỳ trang nào trên trang web của bạn. Để khắc phục sự cố, hãy xóa chúng. Nó đơn giản vậy thôi.
Khối thu thập thông tin trong robots.txt cũng có thể là thủ phạm nếu Google không index một trang web. Để kiểm tra xem có đúng như vậy không, hãy dán URL vào công cụ kiểm tra URL trong Google Search Console. Nhấp vào khối Coverage phù hợp để hiển thị thêm chi tiết, sau đó tìm thông báo “Crawl allowed? No: blocked by robots.txt”. Điều này cho thấy rằng trang bị chặn trong robots.txt.
Nếu đúng như vậy, hãy kiểm tra lại tệp robots.txt của bạn xem có bất kỳ quy tắc “không cho phép” nào liên quan đến trang hoặc tiểu mục liên quan hay không. Bạn có thể loại bỏ khi cần thiết.
2. Xóa thẻ ngăn index giả mạo
Google sẽ không index các trang nếu bạn yêu cầu họ không làm như vậy. Điều này rất hữu ích để giữ cho một số trang web ở chế độ riêng tư. Có hai cách để làm điều đó:
2.1. Phương pháp 1: meta tag
Các trang có một trong các thẻ meta này trong <head>phần của chúng sẽ không được Google index:
<meta name=“robots” content=“noindex”>
<meta name=“googlebot” content=“noindex”>
Đây là thẻ meta rô bốt và nó cho các công cụ tìm kiếm biết liệu họ có thể hoặc không thể index trang hay không.
Chú thích: Phần quan trọng là giá trị “noindex”. Nếu bạn thấy điều đó, thì trang được đặt thành noindex.
Để tìm tất cả các trang có thẻ meta ngăn lập chỉ mục trên trang web của bạn, hãy chạy thu thập thông tin với Ahrefs’ Site Audit. Chuyển đến báo cáo Indexability. Tìm cảnh báo “Noindex page”.
Nhấp qua để xem tất cả các trang bị ảnh hưởng. Xóa thẻ meta ngăn index khỏi bất kỳ trang nào mà nó không thuộc về.
2. Phương pháp 2: X-Robots-Tag
Trình thu thập thông tin cũng tôn trọng tiêu đề phản hồi X-Robots-Tag HTTP. Bạn có thể triển khai điều này bằng cách sử dụng ngôn ngữ kịch bản phía máy chủ như PHP hoặc trong tệp .htaccess của bạn hoặc bằng cách thay đổi cấu hình máy chủ của bạn.
Công cụ kiểm tra URL trong Search Console cho bạn biết liệu Google có bị chặn thu thập thông tin một trang vì tiêu đề này hay không. Chỉ cần nhập URL của bạn, sau đó tìm kiếm “Indexing allowed? No: ‘noindex’ detected in ‘X-Robots-Tag’ http header”
Nếu bạn muốn kiểm tra vấn đề này trên trang web của mình, hãy chạy thu thập thông tin trong công cụ Ahrefs’ Site Audit, sau đó sử dụng bộ lọc “Robots information in HTTP header” trong Page Explorer:
Yêu cầu nhà phát triển của bạn loại trừ các trang bạn muốn index trả lại tiêu đề này.
3. Đưa trang vào sitemap của bạn
Sitemap cho Google biết trang nào trên trang web của bạn là quan trọng và trang nào không quan trọng. Nó cũng có thể cung cấp một số hướng dẫn về tần suất chúng nên được thu thập lại thông tin.
Google sẽ có thể tìm thấy các trang trên trang web của bạn bất kể chúng có trong sitemap của bạn hay không, nhưng bạn vẫn nên đưa chúng vào. Rốt cuộc, không có lý do gì khiến cuộc sống của Google trở nên khó khăn.
Để kiểm tra xem một trang có trong sitemap của bạn hay không, hãy sử dụng công cụ kiểm tra URL trong Search Console. Nếu bạn thấy lỗi “URL is not on Google” và “Sitemap: N/A”, thì nó không có trong sitemap của bạn hoặc đã được index.
Không sử dụng Search Console? Đi tới URL sitemap của bạn – thường là yourdomain.com/sitemap.xml – và tìm kiếm trang.
Hoặc, nếu bạn muốn tìm tất cả các trang có thể thu thập thông tin và index không có trong sitemap của mình, hãy chạy thu thập thông tin trong Ahrefs’ Site Audit. Đi tới Page Explorer và áp dụng các bộ lọc sau:
Các trang này phải nằm trong sitemap của bạn, vì vậy hãy thêm chúng vào. Sau khi hoàn tất, hãy cho Google biết rằng bạn đã cập nhật sơ đồ trang web của mình bằng cách ping URL này:
http://www.google.com/ping?sitemap=http://yourwebsite.com/sitemap_url.xml
Thay thế phần cuối cùng đó bằng URL sơ đồ trang web của bạn. Sau đó, bạn sẽ thấy một cái gì đó như thế này:
Điều đó sẽ tăng tốc độ index trang của Google.
4. Xóa các thẻ chuẩn giả mạo
Thẻ chuẩn cho Google biết đâu là phiên bản ưa thích của trang. Nó trông giống như thế này:
<link rel=”canonical” href=”/page.html/”>
Hầu hết các trang đều không có thẻ chuẩn hoặc được gọi là thẻ chuẩn tự tham chiếu. Điều đó cho Google biết rằng bản thân trang này là phiên bản được ưa thích và có lẽ là duy nhất. Nói cách khác, bạn muốn trang này được lập chỉ mục.
Nhưng nếu trang của bạn có thẻ chuẩn giả mạo, thì nó có thể cho Google biết về một phiên bản ưa thích của trang này không tồn tại. Trong trường hợp đó, trang của bạn sẽ không được index.
Để kiểm tra trang chuẩn, hãy sử dụng công cụ kiểm tra URL của Google. Bạn sẽ thấy cảnh báo “Alternate page with canonical tag” nếu trang chuẩn trỏ đến một trang khác.
Nếu điều này không có ở đó và bạn muốn index trang, hãy xóa thẻ chuẩn.
Lưu ý quan trọng: Các thẻ hợp quy không phải lúc nào cũng xấu. Hầu hết các trang có các thẻ này đều có lý do. Nếu bạn thấy rằng trang của mình có bộ hợp quy, hãy kiểm tra trang chính tắc. Nếu đây thực sự là phiên bản ưa thích của trang và cũng không cần phải lập chỉ mục trang được đề cập, thì thẻ chuẩn sẽ ở lại.
Nếu bạn muốn một cách nhanh chóng để tìm các thẻ chuẩn giả mạo trên toàn bộ trang web của mình, hãy chạy thu thập thông tin trong công cụ Kiểm tra trang web của Ahrefs. Đi tới Trình khám phá trang. Sử dụng các cài đặt sau:
Chèn ảnh
Điều này tìm kiếm các trang trong sitemap của bạn có các thẻ chuẩn không tự tham chiếu. Bởi vì bạn gần như chắc chắn muốn lập chỉ mục các trang trong sitemap của mình, bạn nên điều tra thêm nếu bộ lọc này trả lại bất kỳ kết quả nào.
Rất có khả năng những trang này có trang chuẩn giả mạo hoặc không nên nằm trong sơ đồ trang web của bạn ngay từ đầu.
5. Kiểm tra để đảm bảo rằng trang không bị bỏ sót
Các trang mồ côi là những trang không có internal link đến chúng.
Vì Google phát hiện ra nội dung mới bằng cách thu thập thông tin trên web, họ không thể khám phá các trang mồ côi trong quá trình đó. Khách truy cập trang web cũng sẽ không thể tìm thấy chúng.
Để kiểm tra các trang mồ côi, hãy thu thập thông tin trang web của bạn với Ahrefs’ Site Audit. Tiếp theo, kiểm tra báo cáo Links để tìm lỗi “Orphan page (has no incoming internal links)”:
Chèn ảnh
Điều này hiển thị tất cả các trang có thể index và hiển thị trong sitemap của bạn, nhưng không có internal link nào trỏ đến chúng.
Lưu ý quan trọng:
Quá trình này chỉ hoạt động khi có hai điều đúng:
- Tất cả các trang bạn muốn lập chỉ mục đều có trong sơ đồ trang web của bạn
- Bạn đã chọn hộp để sử dụng các trang trong sơ đồ trang web của mình làm điểm bắt đầu cho việc thu thập thông tin khi thiết lập dự án trong Ahrefs’ Site Audit.
Bạn không tự tin rằng tất cả các trang bạn muốn được lập chỉ mục đều có trong sitemap của bạn? Thử cái này:
- Tải xuống danh sách đầy đủ các trang trên trang web của bạn (thông qua CMS của bạn)
- Thu thập thông tin trang web của bạn (sử dụng một công cụ như Ahrefs’ Site Audit)
- Tham chiếu chéo hai danh sách URL
Bất kỳ URL nào không được tìm thấy trong quá trình thu thập thông tin đều là các trang mồ côi.
Bạn có thể sửa các trang mồ côi theo một trong hai cách:
- Nếu trang không quan trọng, hãy xóa nó và xóa khỏi sitemap của bạn.
- Nếu trang quan trọng, hãy kết hợp nó vào cấu trúc internal link của trang web của bạn.
6. Sửa các internal link nofollow
Các liên kết nofollow là các liên kết có thẻ rel = “nofollow”. Chúng ngăn cản việc chuyển PageRank đến URL đích. Google cũng không thu thập thông tin các liên kết nofollow.
Đây là những gì Google nói về vấn đề này:
“Về cơ bản, việc sử dụng nofollow khiến chúng ta loại bỏ các liên kết mục tiêu khỏi biểu đồ tổng thể của web. Tuy nhiên, các trang mục tiêu vẫn có thể xuất hiện trong chỉ mục của chúng tôi nếu các trang web khác liên kết đến chúng mà không sử dụng nofollow hoặc nếu các URL được gửi đến Google trong Sitemap.”
Tóm lại, bạn nên đảm bảo rằng tất cả các internal link đến các trang có thể index đều được tuân theo. Để thực hiện việc này, hãy sử dụng công cụ Ahrefs’ Site Audit để thu thập dữ liệu trang web của bạn. Kiểm tra báo cáo Links để biết các trang có thể index có lỗi “Page has nofollow incoming internal links only”:
Chèn ảnh
Xóa thẻ nofollow khỏi các internal link này, giả sử rằng bạn muốn Google index trang. Nếu không, hãy xóa trang hoặc ngăn index nó.
7. Thêm internal link “mạnh mẽ”
Google phát hiện ra nội dung mới bằng cách thu thập dữ liệu trang web của bạn. Nếu bạn sơ ý liên kết nội bộ đến trang được đề cập thì họ có thể không tìm thấy trang đó.
Một giải pháp dễ dàng cho vấn đề này là thêm một số internal link vào trang. Bạn có thể làm điều đó từ bất kỳ trang web nào khác mà Google có thể thu thập thông tin và index. Tuy nhiên, nếu bạn muốn Google lập chỉ mục trang nhanh nhất có thể, bạn nên làm như vậy từ một trong những trang “mạnh mẽ” hơn của bạn.
Tại sao? Bởi vì Google có khả năng thu thập lại thông tin các trang như vậy nhanh hơn các trang ít quan trọng hơn. Để thực hiện việc này, hãy chuyển đến Ahrefs’ Site Explorer, nhập tên miền của bạn, sau đó truy cập báo cáo Best by links.
Điều này hiển thị tất cả các trang trên trang web của bạn được sắp xếp theo Xếp hạng URL (UR). Nói cách khác, nó hiển thị các trang có thẩm quyền nhất trước tiên.
Đọc lướt danh sách này và tìm các trang có liên quan để thêm internal link vào trang được đề cập.
Ví dụ: nếu chúng tôi đang tìm cách thêm internal link vào hướng dẫn đăng bài của khách thì hướng dẫn xây dựng liên kết của chúng tôi có thể sẽ cung cấp một địa điểm phù hợp để làm
Sau đó, Google sẽ nhìn thấy và theo liên kết đó vào lần tới khi họ thu thập lại thông tin trang.
Mẹo hay:
Dán trang mà từ đó bạn đã thêm internal link vào công cụ kiểm tra URL của Google. Nhấn vào nút “Yêu cầu lập chỉ mục” để cho Google biết rằng có điều gì đó trên trang đã thay đổi và họ nên thu thập lại thông tin càng sớm càng tốt. Điều này có thể đẩy nhanh quá trình họ phát hiện ra liên kết nội bộ và do đó, trang bạn muốn lập chỉ mục.
8. Đảm bảo trang có giá trị và duy nhất
Google không có khả năng lập chỉ mục các trang chất lượng thấp vì chúng không có giá trị gì đối với người dùng. Đây là những gì John Mueller của Google nói về lập chỉ mục vào năm 2018:
“Nếu bạn muốn Google index trang web của mình, trang web đó cần phải “tuyệt vời và đầy cảm hứng”.
Nếu bạn đã loại trừ các vấn đề kỹ thuật do thiếu lập chỉ mục, thì việc thiếu giá trị có thể là thủ phạm. Vì lý do đó, bạn nên xem lại trang với đôi mắt mới mẻ và tự hỏi bản thân: Trang này có thực sự có giá trị không? Người dùng có tìm thấy giá trị trong trang này nếu họ nhấp vào nó từ kết quả tìm kiếm không?
Nếu câu trả lời là không cho một trong hai câu hỏi đó, thì bạn cần phải cải thiện nội dung của mình.
Bạn có thể tìm thấy nhiều trang có chất lượng thấp hơn không được lập chỉ mục bằng cách sử dụng công cụ Kiểm tra trang web của Ahrefs và Trình biên tập URL . Để làm điều đó, hãy chuyển đến Trình khám phá Trang trong Kiểm tra Trang web của Ahrefs và sử dụng các cài đặt sau:
Điều này sẽ trả lại các trang “mỏng” có thể lập chỉ mục và hiện không nhận được lưu lượng truy cập không phải trả tiền. Nói cách khác, có nhiều khả năng chúng không được lập chỉ mục.
Xuất báo cáo, sau đó dán tất cả các URL vào URL Profiler và chạy kiểm tra Lập chỉ mục của Google.
Lưu ý quan trọng:
Bạn nên sử dụng proxy nếu bạn đang thực hiện việc này cho nhiều trang (tức là hơn 100 trang). Nếu không, bạn có nguy cơ IP của mình bị Google cấm. Nếu bạn không thể làm điều đó, thì một giải pháp thay thế khác là tìm kiếm trên Google để tìm “công cụ kiểm tra lập chỉ mục hàng loạt miễn phí của Google”. Có một vài trong số những công cụ này xung quanh, nhưng hầu hết chúng được giới hạn ở <25 trang cùng một lúc.
Kiểm tra bất kỳ trang nào không được lập chỉ mục để tìm các vấn đề về chất lượng. Cải thiện nếu cần thiết, sau đó yêu cầu lập chỉ mục lại trong Google Search Console.
Bạn cũng nên cố gắng khắc phục sự cố với nội dung trùng lặp. Google không có khả năng lập chỉ mục các trang trùng lặp hoặc gần trùng lặp. Sử dụng báo cáo Nội dung trùng lặp trong Kiểm tra trang web để kiểm tra các vấn đề này.
9. Xóa các trang chất lượng thấp (để tối ưu hóa “ngân sách thu thập thông tin”)
Có quá nhiều trang chất lượng thấp trên trang web của bạn chỉ làm lãng phí ngân sách thu thập thông tin .
Đây là những gì Google nói về vấn đề này:
“Việc lãng phí tài nguyên máy chủ trên [các trang có giá trị gia tăng thấp] sẽ làm tiêu hao hoạt động thu thập thông tin từ các trang thực sự có giá trị, điều này có thể gây ra sự chậm trễ đáng kể trong việc khám phá nội dung tuyệt vời trên một trang web.”
Hãy coi nó giống như một bài luận chấm điểm của giáo viên, một trong số đó là của bạn. Nếu họ có mười bài luận để chấm điểm, họ sẽ nhận được bài của bạn khá nhanh. Nếu họ có một trăm, họ sẽ mất nhiều thời gian hơn một chút. Nếu họ có hàng nghìn, thì khối lượng công việc của họ quá cao và họ có thể không bao giờ chấm điểm được bài luận của bạn.
Google tuyên bố rằng “ngân sách thu thập thông tin […] không phải là điều mà hầu hết các nhà xuất bản phải lo lắng” và “nếu một trang web có ít hơn vài nghìn URL, thì hầu hết thời gian trang web đó sẽ được thu thập thông tin một cách hiệu quả.”
Tuy nhiên, xóa các trang chất lượng thấp khỏi trang web của bạn không bao giờ là một điều xấu. Nó chỉ có thể có tác động tích cực đến ngân sách thu thập thông tin.
Bạn có thể sử dụng mẫu kiểm tra nội dung của chúng tôi để tìm các trang có chất lượng thấp và không liên quan có thể bị xóa.
10. Xây dựng backlink chất lượng cao
Backlink cho Google biết rằng một trang web là quan trọng. Rốt cuộc, nếu ai đó đang liên kết với nó, thì nó phải có một số giá trị. Đây là những trang mà Google muốn lập chỉ mục.
Để hoàn toàn minh bạch, Google không chỉ lập chỉ mục các trang web có backlink. Có rất nhiều (hàng tỷ) trang được lập chỉ mục không có backlink. Tuy nhiên, vì Google coi các trang có liên kết chất lượng cao quan trọng hơn, nên chúng có khả năng thu thập thông tin — và thu thập lại thông tin — những trang như vậy nhanh hơn những trang không có. Điều đó dẫn đến việc lập chỉ mục nhanh hơn.
Việc trang web hoặc trang web của bạn được lập chỉ mục trong Google không có nghĩa là xếp hạng hoặc lưu lượng truy cập.
Bài viết trên Quyết đã tổng hợp toàn bộ thông tin về cách giúp index hiệu quả cho website của bạn. Hy vọng rằng những thông tin này sẽ giúp ích cho dự án SEO của bạn nhanh chóng đạt được mục tiêu hơn.
Hotline: 028.8880.0899
Messenger
Chat Zalo
Báo Giá