Một trong những điều quan trọng giúp wap của bạn đạt High ranking (thứ hạng cao) trong các cỗ máy tìm kiếm là bạn phải xây dựng cho mình một tập tin Robots.txt. Vậy tập Robots.txt là gì?
Khi một con bọ tìm kiếm (bot) tìm đến trang wap nào đó thì file robots.txt là file mà bot đến đầu tiên.
Tại sao bot lại đến file robots.txt đầu tiên?
Mục đích bot tìm đến robots.txt trước cả trang chủ là vì nó cần xem xét để có thể index trang wap này hoặc không index (tùy theo cấu trúc được viết trong tập tin robots.txt)
File robots.txt rất đơn giản Bằng văn bản text. Chứa trên thư mục gốc của wap "domain/robots.txt".
Một robots.txt đơn giản cho wapsite như sau
Nếu User-agent là "*" thì tất cả bot đều được index. "User-agent: Googlebot" chỉ các spider của Google là được phép index.
"Sitemap: /sitemap.xml" cho bot biết đó là sitemap wap bạn.
Đó là robots.txt đơn giản và chuẩn bot. Nếu muốn tìm hiểu thêm nhiều lệnh khác hãy search trên google nhé. Chúc anh em thành công!