Kiểm tra AI crawler có đọc được site không: robots.

Tuần trước một người quen nhờ mình xem vì sao ChatGPT trả lời về công ty anh ấy toàn thông tin cũ. Nội dung không sai, schema cũng có. Kiểm tra một lúc mới ra nguyên nhân rất "dev": robots.txt đang chặn một bot tìm kiếm của AI, còn trang dịch vụ thì phần mô tả chỉ hiện ra sau khi JavaScript chạy xong. Bài này ghi lại cách mình kiểm tra theo ba lớp: robots.txt, HTML ban đầu và log server. Toàn bộ chỉ cần terminal, <code>curl</code>, <code>grep</code> và quyền đọc access log. Mình không bàn chuyện nội dung hay thực thể ở đây, chỉ xem bot có vào được và đọc được hay không. <h2>

Các user-agent nên biết

</h2> Không có danh sách nào đầy đủ mãi, nhưng đây là những cái mình hay gặp nhất: <ul> <li> GPTBot (OpenAI): thu thập nội dung có thể dùng để huấn luyện mô hình. Chặn GPTBot nghĩa là bạn không muốn nội dung bị dùng cho việc đó.</li> <li> OAI-SearchBot (OpenAI): dùng cho tính năng tìm kiếm của ChatGPT. Theo tài liệu của OpenAI, site chặn bot này sẽ không xuất hiện trong câu trả lời tìm kiếm của ChatGPT (vẫn có thể hiện dạng link điều hướng).</li> <li> ChatGPT-User (OpenAI): truy cập khi người dùng yêu cầu ChatGPT mở một trang. OpenAI ghi rõ đây là hành động do người dùng khởi tạo nên robots.txt có thể không áp dụng.</li> <li> ClaudeBot (Anthropic) và PerplexityBot (Perplexity): crawler của hai nền tảng này.</li> <li> Google-Extended: chỉ là một token trong robots.txt, không có user-agent riêng nên bạn sẽ không thấy nó trong log. Google dùng nó để bạn chọn có cho nội dung phục vụ Gemini hay không; nó không ảnh hưởng tới việc trang có lên Google Search. AI Overviews vẫn đi theo Googlebot và index thông thường.</li> </ul> Điểm quan trọng: ba bot của OpenAI là ba thiết lập độc lập. Bạn hoàn toàn có thể mở OAI-SearchBot để được tìm thấy trong ChatGPT search mà vẫn chặn GPTBot. <h2>

Lớp 1: đọc robots.txt cho đúng

</h2> Đầu tiên lấy file về: <div class="highlight js-code-highlight"> <pre class="highlight shell"><code>curl -s https://example.com/robots.txt </code></pre> </div> Chỗ nhiều người đọc nhầm: một crawler chỉ theo nhóm user-agent khớp cụ thể nhất với nó. Nếu file có nhóm <code>User-agent: GPTBot</code> thì GPTBot bỏ qua hoàn toàn nhóm <code>User-agent: *</code>, kể cả các dòng <code>Disallow</code> bạn tưởng là áp dụng cho mọi bot. Ví dụ: <div class="highlight js-code-highlight"> <pre class="highlight plaintext"><code>User-agent: * Disallow: /admin/

User-agent: GPTBot Disallow: / </code></pre>

</div> Ở đây GPTBot bị chặn toàn site, còn OAI-SearchBot, ClaudeBot, PerplexityBot rơi vào nhóm <code>*</code> nên chỉ bị chặn <code>/admin/</code>. Nếu bạn muốn cho bot tìm kiếm vào nhưng chặn bot huấn luyện, viết rõ từng nhóm: <div class="highlight js-code-highlight"> <pre class="highlight plaintext"><code>User-agent: OAI-SearchBot Allow: /

User-agent: GPTBot Disallow: /

User-agent: Google-Extended Disallow: / </code></pre>

</div> Mình hay lọc nhanh các dòng liên quan bằng: <div class="highlight js-code-highlight"> <pre class="highlight shell"><code>curl -s https://example.com/robots.txt \ | grep -inE -A3 'user-agent: *(\*|gptbot|oai-searchbot|chatgpt-user|claudebot|perplexitybot|google-extended)' </code></pre> </div> Hai lỗi mình gặp nhiều nhất: plugin bảo mật hoặc CDN tự thêm nhóm chặn "AI bots" mà chủ site không biết, và robots.txt bị trả về 403 hoặc trang HTML lỗi thay vì file text. Kiểm tra luôn status và content-type: <div class="highlight js-code-highlight"> <pre class="highlight shell"><code>curl -sI https://example.com/robots.txt | grep -iE '^(HTTP|content-type)' </code></pre> </div> OpenAI cũng lưu ý thay đổi robots.txt có thể mất khoảng 24 giờ để hệ thống tìm kiếm của họ cập nhật, nên đừng sửa xong rồi thử ngay. <h2>

Lớp 2: gọi trang bằng user-agent của bot và xem HTML ban đầu

</h2> robots.txt cho phép không có nghĩa là server cho phép. WAF, Cloudflare hay rule chống bot có thể trả 403, 429 hoặc trang challenge cho đúng mấy user-agent này. Mình giả lập bằng <code>curl</code>: <div class="highlight js-code-highlight"> <pre class="highlight shell"><code>URL="https://example.com/dich-vu/abc"

for UA in "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot" "OAI-SearchBot/1.4" "ClaudeBot/1.0" "PerplexityBot/1.0" do printf '%-20s ' "$(echo "$UA" | grep -oE '(GPTBot|ChatGPT-User|OAI-SearchBot|ClaudeBot|PerplexityBot)')" curl -s -o /dev/null -A "$UA" -w '%{http_code} %{size_download} bytes\n' "$URL" done </code></pre>

</div> Chuỗi user-agent đầy đủ có số phiên bản thay đổi theo thời gian; với việc kiểm tra rule chặn theo tên thì chỉ cần chứa đúng tên bot là đủ. Kết quả cần nhìn: mọi dòng nên là <code>200</code> và kích thước gần bằng nhau. Một dòng <code>403</code>, hoặc <code>200</code> nhưng chỉ vài KB trong khi trình duyệt nhận cả trăm KB, thường là trang challenge. Lưu ý: cách này chỉ kiểm tra được rule chặn theo user-agent. Nếu firewall chặn theo IP hoặc ASN thì <code>curl</code> từ máy bạn vẫn qua, còn bot thật thì không. Vì vậy cần lớp 3. <h3>

Nội dung có nằm trong HTML ban đầu không

</h3> Nhiều bot AI đọc HTML trả về chứ không chạy JavaScript như trình duyệt. Nếu site là SPA render phía client, bot có thể chỉ thấy một <code><div id="root"></div></code> trống. Cách kiểm tra đơn giản: chọn một câu quan trọng (tên dịch vụ, giá, địa chỉ) và grep trong HTML thô: <div class="highlight js-code-highlight"> <pre class="highlight shell"><code>curl -s -A "GPTBot/1.4" "$URL" | grep -c "Dịch vụ thiết kế website" </code></pre> </div> Ra <code>0</code> thì có hai khả năng: nội dung do JS tạo ra, hoặc chuỗi bị encode thành HTML entity. Để chắc, mình bỏ thẻ và xem phần text thô: <div class="highlight js-code-highlight"> <pre class="highlight shell"><code>curl -s -A "GPTBot/1.4" "$URL" \ | python3 -c "import sys,re,html; t=sys.stdin.read(); t=re.sub(r'<(script|style)[^>]*>.*?</\1>','',t,flags=re.S); t=html.unescape(re.sub(r'<[^>]+>','\n',t)); print('\n'.join(l.strip() for l in t.splitlines() if l.strip()))" \ | head -50 </code></pre> </div> Nếu 50 dòng đầu chỉ có menu, footer và "Loading...", đó là dấu hiệu nội dung chính không nằm trong HTML ban đầu. Hướng sửa thường là SSR, SSG hoặc prerender cho các trang quan trọng; tùy framework mà cách làm khác nhau. Cũng nên kiểm tra thêm <code><title></code>, meta description và thẻ <code><meta name="robots"></code> trong HTML thô, vì có site gắn <code>noindex</code> bằng JS rồi quên gỡ: <div class="highlight js-code-highlight"> <pre class="highlight shell"><code>curl -s "$URL" | grep -oiE '<(title|meta name="(description|robots)")[^>]*>[^<]*' </code></pre> </div> <h2>

Lớp 3: đọc access log

</h2> Đây là nơi trả lời câu hỏi "bot có thực sự ghé không". Với log nginx hoặc Apache dạng combined: <div class="highlight js-code-highlight"> <pre class="highlight shell"><code># Đếm lượt truy cập theo từng bot (gồm cả log đã nén) zgrep -hoiE 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot' /var/log/nginx/access.log* \ | sort | uniq -c | sort -rn </code></pre> </div> <div class="highlight js-code-highlight"> <pre class="highlight shell"><code># Xem bot gặp status nào, ở URL nào grep -iE 'GPTBot|OAI-SearchBot|ClaudeBot|PerplexityBot' /var/log/nginx/access.log \ | awk '{print $9, $7}' | sort | uniq -c | sort -rn | head -30 </code></pre> </div> Nếu thấy nhiều <code>403</code> hoặc <code>429</code>, quay lại xem rule WAF hoặc rate limit. Nếu hoàn toàn không có dòng nào sau vài tuần, có thể bot chưa biết tới site, hoặc bị chặn từ tầng CDN trước khi request tới server; khi đó cần xem log hoặc dashboard của CDN. User-agent thì ai cũng giả được. OpenAI công bố dải IP cho từng bot ở các file JSON như <code>https://openai.com/gptbot.json</code>, <code>searchbot.json</code>, <code>chatgpt-user.json</code>. Mình kiểm tra một IP trong log như sau: <div class="highlight js-code-highlight"> <pre class="highlight shell"><code>IP="20.171.206.10" curl -s https://openai.com/gptbot.json \ | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' \ | python3 -c "import sys,ipaddress; ip=ipaddress.ip_address('$IP'); print(any(ip in ipaddress.ip_network(l.strip()) for l in sys.stdin if l.strip()))" </code></pre> </div> Ra <code>True</code> thì đúng là bot của OpenAI. Với các bot khác, xem trang tài liệu crawler của từng bên để lấy cách xác minh tương ứng. <h2>

Checklist ngắn

</h2> <ol> <li>robots.txt trả <code>200</code>, <code>text/plain</code>, không có nhóm chặn bot mà bạn không chủ động thêm.</li> <li>Mỗi bot bạn muốn cho vào được xử lý đúng nhóm user-agent của nó, không trông vào nhóm <code>*</code>.</li> <li> <code>curl</code> với từng user-agent đều ra <code>200</code> và kích thước tương đương trình duyệt.</li> <li>Câu quan trọng nhất của trang có trong HTML thô, không cần JS.</li> <li>Không có <code>noindex</code> ngoài ý muốn trong HTML ban đầu.</li> <li>Log có lượt truy cập từ bot, status chủ yếu là <code>200</code>, IP khớp dải được công bố.</li> <li>Trang đã được Google index, vì AI Overviews chỉ lấy nguồn từ trang đủ điều kiện hiển thị trên Google Search.</li> </ol> Ba lớp này chỉ trả lời câu hỏi bot có đọc được site hay không. Đọc được rồi mà AI vẫn tả sai công ty thì vấn đề nằm ở nội dung và nguồn bên ngoài; phần đó mình đã viết riêng trong <a href="https://manhdigital68.hashnode.dev/checklist-30-ph-t-v-sao-chatgpt-t-sai-c-ng-ty-c-a-b-n" rel="noopener noreferrer">checklist 30 phút tìm lý do ChatGPT mô tả sai doanh nghiệp</a>. Nếu bạn không có quyền đọc log hay không muốn tự mò rule CDN, Mạnh Digital có <a href="https://manhdigital.com/dich-vu/seo-ai" rel="noopener noreferrer">dịch vụ tối ưu cho AI search</a>, trong đó phần kỹ thuật gồm đưa nội dung quan trọng vào HTML ban đầu và cấu hình robots.txt cho các bot AI. Còn nếu tự làm, chạy hết checklist trên một lần là đã loại được phần lớn lỗi mình hay gặp.