Tạo file robots.txt chuẩn SEO cho blogspot
vào
01 thg 5, 2017
Robots.txt là gì?
robots.txt là file dạng text chứa các lệnh để chỉ dẫn cho robot của các công cụ tìm kiếm như google, bing, yahoo,...thu thập thông tin từ website có sử dụng dạng file này. Robots.txt rất quan trọng đối với một website, nó quyết định website đó có được các công cụ tìm kiếm để ý đến hay không.Tối ưu robots.txt chuẩn SEO cho blogspot
Khi bạn sử dụng blogspot (blogger) để phát triển website cho riêng mình thì blogspot đã hỗ trợ sẵn robots.txt với nội dung mặc định. Tuy nhiên, nội dung mặc định đó thường chưa chuẩn với định hướng phát triển website theo phong cách blog, trang tin tức,... và theo xu hướng, thủ thuật SEO hiện tại.Dưới đây là nội dung file robots.txt đầy đủ, chuẩn SEO và tối ưu với một website với blogspot:
User-agent: Mediapartners-Google Disallow: User-agent: * Allow: / Allow: /search/label/ Disallow: /*?updated-max=* Allow: *archive.html Sitemap: http://www.domain.net/sitemap.xml
Chú thích:
Dòng Allow: / cho phép bot có thể index tất cả nội dung trên trang web.
Disallow: /search không muốn bot index trang /search
Disallow: /*?updated-max=* không cho bot index các dạng trang có link chứa "?updated-max=" (thường là các phân trang)
Disallow: *archive.html chặn không cho bot index các dạng trang có link chứa "archive.html"
Ở Sitemap: Bạn thay www.xn--knhit-hsa.vn thành địa chỉ trang của bạn (www.xn--knhit-hsa.vn là dạng mã ascii của www.kênhit.vn. Vậy nên nếu trang bạn đang dùng domain có dấu như vậy thì hãy chuyển về dạng ascii nhé)
Cách thêm nội dung vào file robots.txt
Bước 2: Vào Cài đặt (Setting), chọn phần Tuỳ chọn tìm kiếm (Search Options), chọn tiếp Chỉnh sửa ở Robots.txt tuỳ chỉnh và dán nội dung file robots.txt như ở trên vào.
Bước 3: Cuối cùng là lưu lại thôi.
Việc viết nội dung cho file robots.txt không khó, bạn chỉ cần theo mẫu ở trên miễn sao đúng cú pháp và phù hợp với định hướng phát triển website của bạn là được. Nếu có gì cần thảo luận, thắc mắc, góp ý thì để lại bình luận bên dưới bạn nhé
Nội dung chính
