Đọc chính sách
Phân tích robots.txt theo quy tắc khớp dài nhất và đánh giá 222 bot.
Miễn phí · không đăng ký · kiểm tra 222 bot
Khả năng hiển thị với AI có hai sự thật.
robots.txt có thể cho phép AI crawler, trong khi firewall lại âm thầm từ chối. Chúng tôi đối chiếu chính sách với phản hồi thật của máy chủ và chỉ ra việc cần sửa.
Miễn phí · không đăng ký · 222 kiểm tra tĩnh + 19 probe trực tiếp
Đang đọc chính sách robots.txt…
Minh họa tín hiệu từ hai engine
222chính sách crawler
19probe User-Agent trực tiếp
30 giâythời gian thông thường
Cách hoạt động
Chính sách, thực tế và khoảng cách ở giữa.
Ba bước có giới hạn rõ ràng biến một URL công khai thành báo cáo truy cập có bằng chứng.
Probe máy chủ
Gửi request có kiểm soát với 19 User-Agent AI crawler và một browser đối chứng.
Giải thích sai lệch
Phát hiện silent block, chính sách chưa được thực thi, thiếu hạ tầng và đưa ra điểm AIVI có thể hành động.
Bằng chứng hai engine
Quy tắc tĩnh không phải phản hồi trực tiếp.
CDN bot management, WAF, challenge và rate limit nằm dưới lớp robots.txt. aibotcheck đo cả hai lớp và không đánh đồng UA emulation với xác minh IP.
Đọc phương pháp → Bằng chứng mẫu Chính sách + trực tiếp
GPTBot Cho phép 403 · Chặn ngầm
OAI-SearchBot Cho phép 200 · Truy cập được
Browser đối chứng Mốc chuẩn 200 · Truy cập được
robots.txt ≠ phản hồi máy chủ
Báo cáo
Một điểm số. Bốn tín hiệu có thể giải thích.
AIVI phục vụ quyết định, không chỉ để trang trí. Mỗi điểm thành phần đều gắn với bằng chứng và bước xử lý cụ thể.
Phương pháp tính AIVI →Báo cáo AIVI mẫu
geolify.ai
84
Hướng dẫn thực hành
Sửa vấn đề khi bằng chứng còn mới.
Các playbook ngắn nối từng phát hiện với quyết định: cho phép gì, chặn gì và làm nội dung dễ đọc với máy như thế nào.
Câu hỏi thường gặp
Giới hạn rõ ràng. Câu trả lời hữu ích.
aibotcheck kiểm tra những gì?
Chính sách robots.txt cho 222 bot, phản hồi trực tiếp cho 19 crawler chính, cùng llms.txt, dữ liệu có cấu trúc, markdown alternate và một số tín hiệu tin cậy.
UA emulation có giống crawler thật không?
Không. Kết quả cho biết máy chủ xử lý User-Agent tài liệu hóa từ mạng của chúng tôi như thế nào; không tái tạo IP hoặc TLS fingerprint của nhà cung cấp.
Vì sao robots.txt chưa đủ?
robots.txt thể hiện ý định. WAF, CDN hoặc plugin bảo mật vẫn có thể chặn crawler được cho phép và làm website vô hình với AI.
Công cụ có miễn phí không?
Có. Không cần tài khoản. Email chỉ là tùy chọn khi bạn yêu cầu gửi báo cáo hoặc theo dõi.
Bắt đầu từ bằng chứng
Xem AI thực sự truy cập được gì.
Một URL. Hai engine. Một báo cáo mà đội ngũ có thể hành động.
Đang đọc chính sách robots.txt…