เครื่องมือฟรี · AI Crawler Checker

เช็ก robots.txt ว่าเปิดให้บอท AI หรือยัง

เช็กว่า robots.txt ของเว็บเปิดให้บอทของ ChatGPT Claude Perplexity และ Google เข้าได้หรือเปล่า พร้อมชี้ให้เห็นชัด ๆ ว่ากฎข้อไหนบล็อกอยู่

เช็กเว็บไซต์ของคุณ ฟรี

เราจะดึงหน้าเว็บสาธารณะที่คุณกรอกมาเช็ก เก็บผลไว้ราว 10 นาทีให้เช็กซ้ำได้เร็วขึ้น แล้วลบทิ้ง ส่วน IP จะแปลงเป็นรหัสและเก็บไว้แค่ 1 นาทีเพื่อกันการใช้งานผิดวิธี

ใช้เช็กได้เฉพาะหน้าเว็บของคุณเองหรือหน้าที่ได้รับอนุญาต ห้ามเช็กทีละจำนวนมากหรือใช้โปรแกรมอัตโนมัติ เราอาจจำกัดหรือบล็อกการเช็กเพื่อกันการใช้งานผิดวิธี

ฟรี · ไม่ต้องผูกบัตร · ไม่ต้องสมัคร

Grixy

ผลการเช็ก

ผลลัพธ์แยกให้ดูทีละบอท

เข้าได้

บอทตัวนี้อ่านหน้าเว็บได้ตามกฎใน robots.txt

โดนบล็อก

มีกฎใน robots.txt ห้ามบอทตัวนี้อยู่ และบอกให้เลยว่าเป็นกฎข้อไหน

ควรเช็กไฟร์วอลล์

robots.txt เปิดให้แล้ว แต่ไฟร์วอลล์หรือ CDN อาจยังกันบอทไว้

ไม่มีกฎเฉพาะ

ไม่มีกฎที่ระบุชื่อบอทตัวนี้ไว้ เลยใช้กฎกลางของเว็บแทน

วิธีใช้

วิธีใช้ทีละขั้นตอน

  1. 1

    ใส่ลิงก์เว็บไซต์

    เริ่มจากหน้าแรกก่อนก็ได้

  2. 2

    ระบบอ่าน robots.txt ให้

    ไล่เช็กกฎของบอท AI ตัวหลัก ๆ ทีละตัว

  3. 3

    ดูผลแยกตามบอท

    เข้าได้หรือโดนบล็อก พร้อมกฎที่เกี่ยวข้อง

  4. 4

    เลือกว่าจะเปิดให้บอทไหน

    ตัดสินใจว่าจะให้ AI ใช้เว็บคุณแค่ไหน

  5. 5

    แก้แล้วเช็กซ้ำ

    แก้ robots.txt เสร็จ กดเช็กอีกรอบได้เลย

คู่มือ

บอท AI มีกี่แบบ? รู้ไว้ก่อนตัดสินใจบล็อก

1

บอทสำหรับ AI Search

OAI-SearchBot Claude-SearchBot และ PerplexityBot ช่วยให้เว็บไปโผล่และได้ลิงก์ในคำตอบของ AI Search

2

บอทสำหรับเทรนโมเดล

GPTBot และ ClaudeBot เก็บเนื้อหาไปเทรน AI บล็อกบอทกลุ่มนี้ก็แค่ไม่ให้เอาไปเทรน ไม่เกี่ยวกับ AI Search

3

บอทที่ผู้ใช้สั่ง

ChatGPT-User Claude-User และ Perplexity-User จะเข้าเว็บเมื่อมีคนสั่งให้ AI เปิดหน้านั้น OpenAI และ Perplexity แจ้งไว้ว่ากฎ robots.txt อาจใช้กับบอทกลุ่มนี้ไม่ได้

4

Google-Extended

เป็นชื่อไว้ใส่ใน robots.txt ไม่ใช่บอทแยกตัว ใช้คุมว่าจะให้เอาเนื้อหาไปใช้กับ Gemini หรือเปล่า และ Google ระบุว่าไม่มีผลกับ Google Search หรืออันดับ

บอทบริษัทหน้าที่หลัก
OAI-SearchBotOpenAIตอบคำถามใน ChatGPT Search
GPTBotOpenAIเทรนโมเดล
ChatGPT-UserOpenAIเข้าเว็บตามที่ผู้ใช้สั่ง
Claude-SearchBotAnthropicตอบคำถามใน Claude
ClaudeBotAnthropicเทรนโมเดล
PerplexityBotPerplexityตอบคำถามใน Perplexity
Google-ExtendedGoogleใช้กับ Gemini ไม่เกี่ยวกับ Search
CCBotCommon Crawlชุดข้อมูลเว็บแบบเปิด

ทำไมสำคัญ?

ทำไมเรื่องนี้สำคัญกับธุรกิจคุณ?

โรงแรมและทัวร์

นักท่องเที่ยวถาม AI ว่าพักที่ไหนดี ถ้าบอท AI Search โดนบล็อก AI ก็อ่านหน้าห้องพักของคุณไม่ได้

โฮสติ้งบล็อกไว้โดยไม่รู้ตัว

โฮสติ้ง ปลั๊กอินความปลอดภัย หรือ CDN บางเจ้าตั้งค่าบล็อกบอทไว้แต่แรกโดยไม่บอก เช็กแล้วจะเห็นชัดว่าโดนอยู่หรือเปล่า

เว็บไทยและอังกฤษ

กฎแยกกันตามโดเมนและซับโดเมน ถ้าแยกเว็บไทยกับอังกฤษไว้คนละซับโดเมน ต้องเช็กให้ครบทุกตัว

จังหวะที่ควรใช้

ควรใช้ตอนไหน?

1

ก่อนเริ่มทำ AEO

2

หลังย้ายโฮสติ้ง เปลี่ยน CDN หรือปลั๊กอินความปลอดภัย

3

ตอนที่ AI ไม่เคยพูดถึงธุรกิจคุณเลย

4

หลังทีมเว็บแก้ robots.txt

ผู้ใช้หลัก

เหมาะกับใคร?

  • เจ้าของธุรกิจที่อยากให้ AI เจอเว็บ
  • นักการตลาดที่เริ่มทำ AEO
  • นักพัฒนาที่เช็กเว็บก่อนเปิดตัว
  • บริษัทและ SME
  • ร้านค้าออนไลน์
  • ธุรกิจบริการ เช่น คลินิก โรงแรม โรงเรียน

เจอบ่อย

พลาดกันบ่อยตรงไหน?

บล็อกบอท AI ทุกตัวรวดเดียว

วิธีแก้: จะบล็อกบอทเทรนก็ได้ แต่ถ้าอยากโผล่ในคำตอบของ AI ต้องเปิดบอท AI Search ไว้

คิดว่า Google-Extended มีผลกับ Google Search

วิธีแก้: Google ระบุว่าไม่มีผล ใช้คุมแค่ Gemini

ลืมซับโดเมน

วิธีแก้: แต่ละซับโดเมนมี robots.txt ของตัวเอง ต้องเช็กแยก

ดูแค่ robots.txt

วิธีแก้: ไฟร์วอลล์หรือระบบกันบอทอาจบล็อกอยู่อีกชั้น ต้องเช็กทั้งสองจุด

บล็อกด้วย IP

วิธีแก้: Anthropic แจ้งว่าบล็อกด้วย IP ได้ผลไม่แน่นอน ใช้ robots.txt ดีกว่า

ตัวอย่าง

ตัวอย่างจากโรงแรมในภูเก็ต

ก่อน

ปลั๊กอินความปลอดภัยใส่ “Disallow: /” ให้บอทที่ไม่รู้จักทุกตัว บอท AI Search เลยอ่านหน้าห้องพักไม่ได้

→
หลัง

เจ้าของเปิดให้ OAI-SearchBot Claude-SearchBot และ PerplexityBot แต่ยังบล็อก GPTBot ไว้เหมือนเดิม แล้วกดเช็กซ้ำ

ตัวอย่างประกอบเท่านั้น

Grixy

ข้อจำกัด

เครื่องมือนี้บอกอะไรไม่ได้บ้าง?

  • เช็กจากกฎเท่านั้น บอกไม่ได้ว่า AI จะพูดถึงหรือใส่ลิงก์ให้แน่ ๆ
  • มองไม่เห็นการตั้งค่าไฟร์วอลล์ทุกแบบจากภายนอก
  • บอทที่ทำงานตามคำสั่งผู้ใช้อาจไม่ทำตาม robots.txt
  • กฎเปลี่ยนได้ แก้เว็บทีไรควรเช็กซ้ำทุกครั้ง

FAQ

คำถามที่พบบ่อย

AI Crawler คืออะไร?

AI Crawler คือบอทที่บริษัท AI ส่งมาอ่านเว็บ เพื่อเอาไปตอบคำถาม เทรนโมเดล หรือเปิดหน้าเว็บตามที่ผู้ใช้สั่ง

ควรบล็อก GPTBot ไหม?

แล้วแต่คุณเลย OpenAI ระบุว่า GPTBot ใช้เทรนโมเดล และการบล็อก GPTBot ไม่ได้หยุด OAI-SearchBot ที่ใช้ตอบคำถามใน ChatGPT Search

บล็อกบอท AI แล้วอันดับ Google จะตกไหม?

ไม่ตก ถ้าบล็อกแค่ Google-Extended เพราะ Google ระบุว่าไม่มีผลกับ Google Search และไม่ใช่ปัจจัยจัดอันดับ แต่ห้ามบล็อก Googlebot เด็ดขาด

OAI-SearchBot กับ GPTBot ต่างกันยังไง?

OAI-SearchBot ช่วยให้เว็บไปโผล่ในคำตอบของ ChatGPT Search ส่วน GPTBot เก็บเนื้อหาไปเทรนโมเดล และ OpenAI แยกการตั้งค่าของสองตัวนี้ออกจากกัน

บอท AI ทำตาม robots.txt ไหม?

ส่วนใหญ่ทำตาม บอท AI Search และบอทเทรนของ OpenAI Anthropic และ Perplexity แจ้งว่าทำตาม แต่บอทที่ผู้ใช้สั่ง เช่น ChatGPT-User หรือ Perplexity-User อาจไม่ทำตาม

robots.txt เปิดแล้ว ทำไมยังโดนบล็อก?

ไฟร์วอลล์ CDN หรือระบบกันบอทอาจกันไว้ก่อนบอทจะได้อ่าน robots.txt ลองเช็กกับผู้ให้บริการโฮสติ้งดู

robots.txt กับ llms.txt เหมือนกันไหม?

ไม่เหมือนกัน robots.txt บอกว่าบอทอ่านอะไรได้บ้าง ส่วน llms.txt เป็นไฟล์สรุปเว็บแบบไม่บังคับ และ Google ระบุว่าไม่จำเป็นสำหรับ Google Search

ใช้กับเว็บทุกภาษาได้ไหม?

ได้ กฎใช้เหมือนกันทุกภาษา ทั้งหน้าไทยและอังกฤษ แค่ต้องเช็กให้ครบทุกซับโดเมนที่ใช้

ใช้ฟรีไหม?

ฟรี ไม่ต้องผูกบัตร

เครื่องมือที่เกี่ยวข้อง

ใช้คู่กันได้ดี

ฟรี

llms.txt Generator

สร้างไฟล์ llms.txt สรุปเว็บไว้ในไฟล์เดียวให้ AI อ่าน

ใช้ฟรีเลย →

AI Visibility Checker

ดูว่า ChatGPT Gemini และ Google AI Mode พูดถึงแบรนด์คุณบ่อยแค่ไหน

ดูรายละเอียด →
ฟรี

Schema Markup Generator

สร้าง JSON-LD ได้เอง ไม่ต้องเขียนโค้ด

ใช้ฟรีเลย →
Grixy

ควรเปิดให้บอทไหนดี? ปรึกษาทีมเราได้

นัดคุยฟรีกับทีมเรา

นัดคุยกับทีมคุยกับเรา