Cấu hình file Robots.txt cho website

Cách tạo và cấu hình file Robots.txt

 

Robots.txt là gì ?

File Robots.txt là 1 dạng văn bản chứa các mã lệnh mà người quản trị web tạo ra, nó có tác dụng điều hướng các bots của công cụ tìm kiếm khi vào website của các bạn. Mà cụ thể là nó cho phép hay không cho phép Bot đánh chỉ mục 1 thư mục bất kỳ nào đó trong website của bạn hay không ?

Cách tạo sitemap cho website

File Robots.txt được đặt trong thư mục gốc đầu tiên của website và ngang hàng với các file index.php, sitemap.xml… ví dụ như: http://thietkeweb.congay.com/robots.txt

Cách tạo file Robots.txt ?

Cách tạo 1 file robots.txt rất đơn giản, bạn chỉ cần mở notepad hoặc notepad ++ chèn các mã lệnh và lưu file dưới đạng đuôi .txt

Ví dụ file robots.txt của tôi có dạng như sau:

User-agent: *

Allow: /media/

Disallow: /wp-admin/

Disallow: /wp-includes/

Sitemap: http://thietkeweb.congay.com/sitemap.xml

  • User-agent : dùng để xác định bot của công cụ tìm kiếm nào.
  • Allow: cho phép bot vào thư mục, trang nào đó.
  • Disallow: chặn bot vào thư mục, trang nào đó.

Như ở ví dụ trên thì cho phép tất cả các robots công cụ tìm kiếm, cho phép truy cập và đánh chỉ mục thư mục media, còn chặn bot truy cập và không cho đánh chỉ mục thư mục wp-admin, wp-includes.
Theo như cách hướng dẫn trên, các bạn có thể hiểu 1 cách đơn giản như sau: thư mục nào mà chúng ta không cần index thì nên chặn bots còn không thì ngược lại. Việc điều hướng này rất có ích trong việc SEO bởi các bots tìm kiếm sẽ không tự động lập chỉ mục các file, thư mục không mong muốn.

Sau khi tạo xong file robots.txt các bạn có thể trực tiếp vào công cụ webmaster tool để gửi cập nhập và kiểm tra lại cho chính xác.

kiem-tra-robots

Kiểm tra và cập nhật Robots.txt

Cấu hình file Robots.txt cho website
1.83 6 votes

bởi admin

car games download