Thẻ noindex của robot meta là một giá trị HTML thông báo cho các công cụ tìm kiếm không đưa một trang nào đó vào chỉ mục của kết quả tìm kiếm. Việc sử dụng thẻ noindex giúp xác định nội dung hữu ích để nâng cao trải nghiệm người dùng. Đây là một công cụ hữu ích cho người làm SEO trong việc thiết kế web khi có các trang mà bạn không nhất thiết muốn nó có trong SERP. Thực tế, các con bọ của Google vẫn vào trang đã gắn noindex và crawl nhưng nó không lập chỉ mục và đưa trang đó vào kết quả tìm kiếm.
Ví dụ: <meta name= “robots” content = “noindex”>
Không thể tránh khỏi việc website của bạn luôn có một số trang không tốt cho xếp hạng trên Google và không đem lại lợi ích cho ranking, ví dụ:
Các trang có nội dung trùng lặp hoặc tương tự (duplicate content) là các trang có cùng một URL, tiêu đề, thẻ tiêu đề hoặc nội dung và các trang này cạnh tranh với nhau để có thể vào trang kết quả search. Trình thu thập thông tin khi crawl có thể sẽ chỉ chọn một phiên bản và không may nó lại không phải là phiên bản mà bạn mong muốn.
Các trang có ít nội dung hoặc không được thiết kế cho mục đích xuất hiện trong kết quả tìm kiếm. Những loại trang này thường mang lại sự hài lòng cho người đọc hoặc khách hàng, nhưng không được xây dựng để đẩy SEO hoặc để xuất hiện ra trang search như là kết quả của một truy vấn. Các loại trang này có thể bao gồm trang cảm ơn, bản tin hoặc trang đăng ký và đăng nhập.
Các trang có bài đăng của người dùng, chẳng hạn như diễn đàn. Diễn đàn có thể bao gồm câu trả lời, bình luận và chủ đề mà không có bất kỳ tác giả chính thống nào.
Thời điểm mà bạn có thể phát hiện các lỗi noindex xảy ra có thể khác nhau. Lưu lượng organic traffic giảm do bị xóa khỏi chỉ mục có thể xảy ra hoặc có thể kéo dài vài tháng.
Điều quan trọng là phải theo dõi chặt chẽ các tráng có thay đổi lớn hoặc sự tăng giảm đáng kể trong organic traffic bằng cách kiểm tra hiệu suất nội dung, Google Analytics và Google Search Console. Lỗi noindex hay lỗi chặn noindex có thể gây ra những hậu quả tiêu cực và nghiêm trọng. Để khắc phục lỗi noindex bạn có thể thực hiện các bước sau:
Loại bỏ lỗi noindex.
Resubmit sitemap cho Google thông qua Search Console.
Submit thủ công các trang bị ảnh hưởng bởi lỗi cho tính năng “Submit to Index”.
Xem xét các tactics khác như sử dụng phương tiện truyền thông xã hội hoặc bài đăng của khách để thử tăng lưu lượng truy cập trong khi trang đó không xuất hiện trong chỉ mục.
Các trang bị gắn disallowed trong file robots.txt vẫn có thể được index vào công cụ tìm kiếm. Cũng có trường hợp các trang được index trong khi nó không được crawl nên khi gắn thẻ “noindex” cho một trang bạn phải đảm bảo rằng trang được phép crawl.
Các trang có thẻ “noindex” về lâu dài sẽ không chuyển bất kỳ giá trị liên kết - link equity nào đến các trang khác. Khi Google nhìn thấy “noindex” trong một thời gian dài, các trang sẽ bị xóa hoàn toàn khỏi chỉ mục và các liên kết trên trang sẽ không còn được crawl nữa.
Sử dụng thẻ "noindex" không phải là cách tốt nhất để đối phó với duplicate content trên trang web của bạn. Để hợp nhất các trang trùng lặp, hãy sử dụng thẻ canonical. Chuẩn hóa thích hợp sẽ hướng dẫn các công cụ tìm kiếm chỉ index phiên bản chính (chuẩn) của trang.
Việc theo dõi trang web để phát hiện các vấn đề về SEO có thể giúp bạn tránh khỏi những tổn thất về lưu lượng truy cập có liên quan đến index. Bạn có thể sử dụng công cụ kiểm tra trang web như Ahrefs để theo dõi tình trạng SEO của trang web.
