KHÔNG CHẶN GOOGLEBOT TRONG ROBOTS.TXT

KHÔNG CHẶN GOOGLEBOT TRONG ROBOTS.TXT

1. Tổng quan về robots.txt và Googlebot

File robots.txt là tệp điều hướng giúp công cụ tìm kiếm (crawler) hiểu được:

  • Trang nào được phép truy cập
  • Trang nào bị hạn chế

Trong hệ sinh thái Google:

  • Googlebot là bot chính dùng để thu thập dữ liệu website
  • Google Merchant Center sử dụng dữ liệu crawl để kiểm tra sản phẩm

⚠️ Nếu chặn Googlebot →
Sản phẩm sẽ không được index và có thể bị từ chối quảng cáo

2. Nguyên tắc bắt buộc

2.1. Không chặn toàn bộ website

⚠️ Tuyệt đối không có dòng:

User-agent: *
Disallow: /

→ Điều này sẽ chặn toàn bộ website khỏi Google

2.2. Cho phép crawl trang sản phẩm

  • Tất cả URL sản phẩm phải được crawl
  • Không chặn thư mục sản phẩm

Ví dụ đúng:

User-agent: *
Allow: /san-pham/

2.3. Cho phép crawl hình ảnh sản phẩm

  • Không chặn thư mục chứa ảnh

Ví dụ:

Allow: /wp-content/uploads/

2.4. Không dùng meta noindex trên trang sản phẩm

⚠️ Nếu có:

<meta name=“robots” content=“noindex”>

→ Google sẽ không index sản phẩm

2.5. File robots.txt phải truy cập được

Bạn có thể kiểm tra tại:
👉 https://vattunganhnuochps.com/robots.txt

3. Ví dụ robots.txt chuẩn SEO & Shopping

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Allow: /san-pham/
Allow: /wp-content/uploads/

Sitemap: https://vattunganhnuochps.com/sitemap.xml

4. Kiểm tra và giám sát

4.1. Kiểm tra trong Google Search Console

  • Tab Coverage
  • Kiểm tra:
    • Trang bị chặn bởi robots.txt
    • Trang không được index

4.2. Test robots.txt

  • Dùng công cụ test robots của Google
  • Kiểm tra từng URL sản phẩm

5. Quy trình kiểm soát tại HPS

Bước 1:

Kiểm tra file robots.txt

Bước 2:

Đảm bảo không block Googlebot

Bước 3:

Kiểm tra index sản phẩm

Bước 4:

Theo dõi Search Console

6. Các lỗi phổ biến cần tránh

  • Chặn toàn bộ website (Disallow: /)
  • Chặn thư mục sản phẩm
  • Chặn thư mục ảnh
  • Dùng noindex trên trang sản phẩm
  • File robots.txt bị lỗi hoặc không tồn tại

7. Tác động đến SEO & Google Shopping

Không chặn Googlebot giúp:

  • Sản phẩm được index nhanh
  • Tăng khả năng hiển thị quảng cáo
  • Tăng traffic tự nhiên
  • Tránh bị từ chối trong Merchant Center

8. Thông tin doanh nghiệp

CÔNG TY TNHH VẬT TƯ NGÀNH NƯỚC HPS

9. Cam kết tuân thủ

Chúng tôi cam kết:

  • Không chặn Googlebot
  • Đảm bảo toàn bộ sản phẩm được crawl
  • Tuân thủ tiêu chuẩn Google Merchant Center

10. Disclaimer pháp lý (chống khiếu nại quảng cáo)

  • Việc index website phụ thuộc vào thuật toán Google
  • Trong một số trường hợp, việc crawl có thể bị chậm do hệ thống
  • HPS cam kết tối ưu tối đa để đảm bảo khả năng index tốt nhất

11. Kết luận

Robots.txt là yếu tố kỹ thuật nhỏ nhưng ảnh hưởng cực lớn:

  • Block sai = mất toàn bộ traffic & quảng cáo
  • Làm đúng = tăng trưởng bền vững