สวัสดีครับ เคยสงสัยไหมว่าเว็บคุณเปิดประตูให้บอท AI ตัวไหนบ้าง วันนี้ไม่ต้องเดาแล้ว AI crawler checker หรือ AI bot checker คือ เครื่องมืออ่านไฟล์ robots.txt แล้วบอกว่าบอท AI แต่ละตัว เช่น GPTBot, ClaudeBot และ PerplexityBot เข้าเว็บคุณได้หรือถูกบล็อก ตัดสินตามกติกามาตรฐาน RFC 9309 พร้อมบอกว่าผลแต่ละข้อแปลว่าอะไร ทุกอย่างทำงานในเบราว์เซอร์ของคุณ ไม่ส่งข้อมูลออกไปไหน
วิธีใช้ AI crawler checker ทีละขั้น
ใช้เวลาไม่ถึง 2 นาที ทำตาม 4 ขั้นนี้ได้เลย
- เปิด https://เว็บคุณ/robots.txt ในแท็บใหม่ ถ้าเปิดแล้วเจอหน้า 404 แปลว่ายังไม่มีไฟล์ ตามมาตรฐานบอทจะถือว่าเข้าได้ทุกหน้า
- ก็อปข้อความทั้งหมดมาวางในกล่อง ที่ต้องก็อปเองเพราะกฎ CORS ของเบราว์เซอร์ห้ามหน้าเว็บหนึ่งแอบอ่านไฟล์ของอีกโดเมน เหมือนเราเปิดตู้จดหมายบ้านคนอื่นไม่ได้ ต้องให้เจ้าของหยิบมาให้
- ถ้าอยากรู้ผลของหน้าใดหน้าหนึ่ง ใส่ path เพิ่ม เช่น /blog/ หรือวาง URL เต็มก็ได้
- อ่านกล่องสรุปก่อน แล้วไล่ดูการ์ดของบอทแต่ละตัว การ์ดที่ขอบแดงคือบอทค้นหาที่ถูกบล็อก เป็นจุดแรกที่ควรเช็ก
อ่านผลยังไง บอทแต่ละแบบต่างกันตรงไหน
ผลแต่ละการ์ดต้องอ่านคู่กับประเภทของบอท เพราะการบล็อกบอทเทรนกับบอทค้นหาให้ผลต่างกันคนละเรื่อง ตารางนี้สรุปจากเอกสารทางการของแต่ละบริษัท ตรวจเมื่อ 20 ตุลาคม 2026
| ประเภท | ตัวอย่าง | ถ้าบล็อกจะเกิดอะไร |
|---|---|---|
| บอทค้นหา | OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot | หายจากคำตอบหรือผลค้นหาของแพลตฟอร์มนั้น เว็บส่วนใหญ่ควรเปิด |
| บอทเทรน | GPTBot, ClaudeBot, Applebot-Extended, CCBot | เนื้อหาไม่ถูกใช้เทรนโมเดล ไม่กระทบการถูกค้นเจอ |
| บอทผสม | Google-Extended, Meta-ExternalAgent | ไม่ถูกเทรน และอาจไม่ถูกใช้ตอบใน Gemini Apps หรือ Meta AI แต่ Google-Extended ไม่กระทบ Google Search |
| ผู้ใช้สั่ง | ChatGPT-User, Claude-User, Perplexity-User | AI เปิดหน้าตามคำสั่งผู้ใช้ไม่ได้ แต่ OpenAI และ Perplexity ระบุว่าบอทของตัวเองอาจไม่ทำตาม |
ใครเห็นชื่อบอทยาวเหยียดแล้วมึน ไม่แปลกเลย จำแค่คำถามเดียวพอ ถ้าลูกค้าถาม AI ถึงธุรกิจแบบคุณ คุณอยากให้ชื่อตัวเองโผล่ไหม ถ้าอยาก ห้ามแตะบอทค้นหาเด็ดขาด
เครื่องมือนี้ตัดสินแบบไหน ตามกติกา RFC 9309
เครื่องมือนี้อ่าน robots.txt ตามมาตรฐาน RFC 9309 ซึ่งเป็นกติกาเดียวกับที่บอทใหญ่ทำตาม หลักใหญ่มี 3 ข้อ ไล่ดูกันเลย
- ป้ายชื่อตรงตัวชนะป้ายรวม บอทจะใช้กลุ่ม User-agent ที่เขียนชื่อตัวเองก่อน ถ้าไม่มีจึงใช้กลุ่ม * ตัวพิมพ์เล็กใหญ่ไม่มีผล และถ้ามีหลายกลุ่มชื่อเดียวกัน กฎจะถูกรวมกัน
- กฎที่ยาวกว่าชนะ ถ้า Allow กับ Disallow ตรงกับ path เดียวกัน กฎที่ path ยาวกว่าชนะ ถ้ายาวเท่ากันให้ Allow ชนะ
- ใช้ * และ $ ได้ เครื่องหมาย * แทนอะไรก็ได้ ส่วน $ แปลว่าจบตรงนั้น และไฟล์ /robots.txt เองอ่านได้เสมอ
ตัวอย่างนี้ PerplexityBot จะเข้า /blog/ai-seo/ ได้ เพราะ Allow: /blog/ ยาว 6 ตัวอักษร ชนะ Disallow: / ที่ยาวแค่ตัวเดียว แต่หน้าแรกถูกบล็อก
User-agent: PerplexityBot
Allow: /blog/
Disallow: /คำถามที่พบบ่อย
แหล่งอ้างอิง
- RFC 9309: Robots Exclusion Protocol โดย IETF (ตรวจ 20 ต.ค. 2026)
- Overview of OpenAI Crawlers โดย OpenAI (ตรวจ 20 ต.ค. 2026)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? โดย Anthropic (ตรวจ 20 ต.ค. 2026)
- Perplexity Crawlers โดย Perplexity (ตรวจ 20 ต.ค. 2026)
- Google’s common crawlers โดย Google (อัปเดต 15 ต.ค. 2026)
- About Applebot โดย Apple (ตรวจ 20 ต.ค. 2026)
- CCBot โดย Common Crawl (ตรวจ 20 ต.ค. 2026)
- Meta Web Crawlers โดย Meta for Developers (ตรวจ 20 ต.ค. 2026)
- Announcing new options for webmasters to control usage of their content in Bing Chat โดย Microsoft Bing (ก.ย. 2023)
