要不要擋 AI 爬蟲:先分清楚它們在做什麼

約 8 分鐘發布於 2026-11-17更新於 2026-11-17由安庭數位網站策略與平台團隊審閱

「AI 爬蟲」不是一種東西。訓練模型用的、AI 搜尋回答用的、使用者叫 AI 幫忙開網頁用的,分屬不同名稱,擋法與後果也不同。對多數想被找到的店家,比較常見的做法是分開管理,而不是一刀切;本文說明判斷方式,實際名稱與規則請以各家官方文件為準。

本文目錄 · 選一段開始看
這篇寫給
想被 AI 搜尋找到,又擔心內容被拿去訓練模型的店家與內容經營者
要完成的事
分清訓練、搜尋與使用者觸發三種 AI 爬蟲,選擇放行或封鎖的做法並確認生效
讀完可得到
依商業目標決定 robots.txt 規則,並把敏感資料改用登入權限保護
先看重點

AI 爬蟲分成訓練模型、AI 搜尋回答與使用者觸發三種,可以分開決定。想被 AI 推薦的店家通常放行搜尋用爬蟲、視需要擋訓練用爬蟲。robots.txt 只是請遵守的告示,敏感資料要用登入權限保護。

01

先分清楚三種用途

以 OpenAI 與 Google 公開文件為例;各家名稱與行為會更新,設定前請查最新版本。
用途例子擋掉之後
訓練模型OpenAI 的 GPTBot之後的內容不用於訓練;已經學過的不會因此消失
AI 搜尋回答OpenAI 的 OAI-SearchBot可能不會出現在該服務的搜尋答案裡
使用者觸發開網頁OpenAI 的 ChatGPT-User官方說明 robots.txt 規則不一定適用
控制 Google 生成式用途Google-Extended(控制標記,不是另一隻爬蟲)官方表示不影響 Google 搜尋收錄與排名

這張表最重要的意思是:擋訓練與擋搜尋可以分開決定。只擋 GPTBot,不等於從 ChatGPT 的搜尋答案中消失;擋 Google-Extended,也不會讓你從一般 Google 搜尋消失。

02

三種做法的取捨

做法得到什麼付出什麼適合誰
全部放行最大機會被 AI 搜尋引用與推薦內容可能被用於訓練,沒有署名或流量想被找到、內容多為服務介紹的店家
只擋訓練、放行搜尋保留 AI 搜尋曝光,減少被拿去訓練要維護較多規則,且只對遵守規則的爬蟲有效有原創文章、圖片但仍想被推薦的品牌
全部擋掉內容較少被 AI 服務直接使用可能從 AI 搜尋答案中消失內容本身就是商品,例如付費教材

03

這是資安問題嗎?要分兩件事看

robots.txt 是一份「請遵守」的告示,不是門鎖。守規矩的爬蟲會照做,惡意的掃描程式不會。所以它適合用來表達你對內容使用的意願,不適合用來保護不該公開的東西。

真正敏感的資料——會員資料、訂單、後台、內部文件——應該靠登入權限與伺服器設定保護,而不是寫在 robots.txt 裡。反過來說,把後台網址寫進 robots.txt,等於公開告訴所有人它在哪裡。

04

設定之後要確認真的生效

  • 直接打開 你的網址/robots.txt,確認內容是你預期的版本
  • 確認 CDN 或防火牆沒有另外攔截或改寫規則
  • 若平台提供爬蟲紀錄,觀察設定前後各爬蟲的造訪是否改變
  • 官方公布 IP 範圍的爬蟲,可用來分辨真的爬蟲與冒名程式
  • 每季回頭看一次官方文件,名稱與規則可能更新

大量冒充知名爬蟲名稱、抓取頻率異常的流量,屬於流量防護問題,要用主機或 CDN 的限流與阻擋規則處理,而不是 robots.txt。

05

店家怎麼選:先回答一個問題

你的網站內容,是為了讓人找到你,還是內容本身就是要賣的東西?前者通常傾向放行搜尋用的爬蟲,讓 AI 能正確介紹你的服務、地區與聯絡方式;後者才需要認真考慮擋掉訓練與搜尋。

無論選哪一種,網站上的事實資料都要正確:AI 讀到過期的營業時間或價格,會把錯的答案告訴你的客人。這部分可以參考〈店家 SEO 與 GEO 基礎〉的整理。

常見問題

擋了 GPTBot,ChatGPT 就不會提到我的店嗎?
不一定。依 OpenAI 公開文件,訓練用的 GPTBot 與搜尋用的 OAI-SearchBot 是分開的名稱;只擋訓練,不代表不會出現在搜尋答案裡。AI 也可能從其他公開來源得知你的店。
robots.txt 能阻止駭客掃描我的網站嗎?
不能。robots.txt 只對願意遵守的爬蟲有效。防止惡意掃描要靠更新、權限、防火牆與限流,敏感頁面要用登入保護。
已經被拿去訓練的內容可以撤回嗎?
封鎖通常只影響之後的抓取,不會讓已訓練的模型移除內容。是否有其他撤回管道,要看各家服務當時的政策。

編輯與證據揭露

本文的作者、方法與揭露

最後審閱:

怎麼整理
依 OpenAI 爬蟲說明、Google 常見檢索器清單與 Google robots.txt 簡介核對名稱、用途與限制,判斷框架由安庭網站策略團隊整理。
限制與邊界
公開作者、審閱日期、整理方法、商業關係、圖片來源與限制,不保證排名、營收、資安或法規個案結果。 本文提供一般決策與操作框架,不取代個別法律、資安、會計或專業顧問意見。 第三方功能、方案、法規與搜尋系統可能調整;涉及決策時應回到本文所列官方頁面核對最新狀態。

圖片揭露:本文未使用情境照片或客戶素材;表格、清單與比較框架由安庭編輯整理。

先確認網站目前的基本狀況

用網站健檢整理下一步;憑證鏈或資安事件,仍需由具管理權限的技術人員確認。

免費健檢我的網站

繼續閱讀