Robots Directives
Robots 指令包含 robots.txt（控制爬取）與 noindex 等（控制索引）。混用或用錯會直接影響收錄。
定義
Robots directives 是一組用來控制爬蟲行為與索引行為的指令。robots.txt 主要控制『能不能抓』（crawl），而 meta robots / X-Robots-Tag 主要控制『要不要索引』（index）。把兩者釐清是排查收錄問題的基本功。
為什麼重要
- 用錯 robots 指令會直接讓頁面不收錄或不被抓取
- 能避免 Disallow 與 noindex 互相打架
- 對大規模站點是控管 crawl budget 的核心手段
怎麼做（實作重點）
- 想禁止出現在 SERP：用 noindex（meta 或 header），不要只用 Disallow
- 想禁止爬取：用 robots.txt Disallow（謹慎，可能影響渲染）
- sitemap 只放 indexable 的 canonical URL
相關連結
常見問題
關於這個詞彙的常見問答。