Crawl Trap
Crawl trap 指爬蟲掉進無限 URL 空間（參數、篩選、日曆）導致 crawl budget 被耗盡。
定義
Crawl trap（爬取陷阱）是指網站產生大量可探索但價值低的 URL（例如參數組合、篩選/排序、日曆頁），讓爬蟲持續抓取而浪費 crawl budget，導致重要頁反而抓不到或更新變慢。
為什麼重要
- 浪費 crawl budget，拖累重要頁的收錄與更新
- 容易造成大量重複內容與 canonical 混亂
- 在 pSEO/電商/篩選頁特別常見
怎麼做（實作重點）
- 限制可索引的參數組合（noindex 或 canonical）
- 用 robots.txt 避免抓取低價值無限路徑（謹慎使用）
- 優化內鏈：重要頁不被深層篩選頁稀釋
相關連結
常見問題
關於這個詞彙的常見問答。