在 robots.txt 中添加規則。例如「User-agent: GPTBot\nDisallow: /」會封鎖 OpenAI 的爬蟲。省略規則或明確允許存取，則 AI 爬蟲可以造訪您的網站。

Question 1

什麼是 AI 爬蟲？

Accepted Answer

AI 爬蟲是 AI 公司（OpenAI、Anthropic、Google、Perplexity 等）用來收集網頁內容的機器人，用於訓練模型或驅動 AI 搜尋引擎。它們透過 User-Agent 字串（如 GPTBot、ClaudeBot、Google-Extended）來識別自己。

Question 2

如何控制 AI 爬蟲的存取？

Accepted Answer

在 robots.txt 中添加規則。例如「User-agent: GPTBot
Disallow: /」會封鎖 OpenAI 的爬蟲。省略規則或明確允許存取，則 AI 爬蟲可以造訪您的網站。

Question 3

什麼是 llms.txt？

Accepted Answer

llms.txt 是放在網站根目錄的檔案（類似 robots.txt），為 AI 系統提供網站的可讀摘要。它幫助 LLM 了解您網站的目的、結構和偏好的引用格式。

Question 4

為什麼要允許 AI 爬蟲？

Accepted Answer

允許 AI 爬蟲意味著您的內容可以被 ChatGPT、Claude、Perplexity 和 Google AI Overview 引用。這就是 AEO（答案引擎優化）— 被 AI 搜尋引擎引用可以帶來大量流量。

AI 爬蟲追蹤器

常見問題