Cấu hình file robots.txt cho blogger

 Robots.txt cho blogger mới nhất 2018

Như các bạn đã biết file robotst.txt là file đơn giản để các bộ máy tìm kiếm quản lý index nội dung bài viết trên website của bạn.

Trong bài viết này tôi sẽ hướng dẫn các bạn cấu hình file robots.txt chuẩn cho blogger mới nhất 2018

- Đăng nhập vào Blogger - Cài đặt - Tùy chọn tìm kiếm

- Chọn "Robots.txt tùy chỉnh" >> "Bật nội dung robots.txt tùy chỉnh" như hình:

Robotst.txt by longanit.com

Copy toàn bộ đoạn code bên dưới dán vào khung hộp thoại thẻ tiêu đề Robots tùy chỉnh

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /search
Disallow: /search*
Allow: /
Allow: *max-results=10
Allow: /search/label/
Disallow: *archive.html
Disallow: *?updated-max*
Disallow: *?m=0
Sitemap: https://www.longanit.com/posts/default?orderby=UPDATED
Sitemap: https://www.longanit.com/sitemap.xml
Sitemap: https://www.longanit.com/atom.xml?redirect=false&start-index=1&max-results=500

 Thay đổi địa chỉ web/blog màu đỏ thành địa chỉ blog của bạn nhé.

Giải thích hoạt động của file robots.txt

User-agent: Mediapartners-Google
Disallow: //Mình chặn index các trang đối tác của Google (Google Adsense)
User-agent: * //Khai báo cho tất cả bộ máy tìm kiếm (SE)
Allow: /        //Cho phép đọc trang domain.com/ (Khác với domain.com không có / phía sau .com)
Disallow: /search* //Chặn trang tìm kiếm
Allow: /search  //Cho phép đọc trang bài viết mới
Disallow: *archive.html //Chặn index trang lưu trữ
Disallow: *?m=0 // chặn index trang có giá trị domain.com?m=0
Allow: /search/label/   //Cho phép index trang nhãn
Allow: *max-results=10 //Cho phép Index trang nhãn có max-results=10 (vì mình muốn như thế)
Dành cho các site không index các trang *max-results=*
Disallow: *max-results=*  // Chặn index đuôi max-results=10, max-results=20, max-results=xxx. Thường dùng cho code phân trang.

Đối với  Blogger sử dụng cấp dữ liệu qua atom và mỗi lần cấp tối đa 500 bài nên khai báo sitemap như sau

Sitemap: https://www.longanit.com/posts/default?orderby=UPDATED
Sitemap: https://www.longanit.com/sitemap.xml
Sitemap: https://www.longanit.com/atom.xml?redirect=false&start-index=1&max-results=500

Được khai báo trong Google Webmaster Tools