要不要擋 AI 爬蟲:先分清楚它們在做什麼
「AI 爬蟲」不是一種東西。訓練模型用的、AI 搜尋回答用的、使用者叫 AI 幫忙開網頁用的,分屬不同名稱,擋法與後果也不同。對多數想被找到的店家,比較常見的做法是分開管理,而不是一刀切;本文說明判斷方式,實際名稱與規則請以各家官方文件為準。
本文目錄 · 選一段開始看
- 這篇寫給
- 想被 AI 搜尋找到,又擔心內容被拿去訓練模型的店家與內容經營者
- 要完成的事
- 分清訓練、搜尋與使用者觸發三種 AI 爬蟲,選擇放行或封鎖的做法並確認生效
- 讀完可得到
- 依商業目標決定 robots.txt 規則,並把敏感資料改用登入權限保護
AI 爬蟲分成訓練模型、AI 搜尋回答與使用者觸發三種,可以分開決定。想被 AI 推薦的店家通常放行搜尋用爬蟲、視需要擋訓練用爬蟲。robots.txt 只是請遵守的告示,敏感資料要用登入權限保護。
01
先分清楚三種用途
| 用途 | 例子 | 擋掉之後 |
|---|---|---|
| 訓練模型 | OpenAI 的 GPTBot | 之後的內容不用於訓練;已經學過的不會因此消失 |
| AI 搜尋回答 | OpenAI 的 OAI-SearchBot | 可能不會出現在該服務的搜尋答案裡 |
| 使用者觸發開網頁 | OpenAI 的 ChatGPT-User | 官方說明 robots.txt 規則不一定適用 |
| 控制 Google 生成式用途 | Google-Extended(控制標記,不是另一隻爬蟲) | 官方表示不影響 Google 搜尋收錄與排名 |
這張表最重要的意思是:擋訓練與擋搜尋可以分開決定。只擋 GPTBot,不等於從 ChatGPT 的搜尋答案中消失;擋 Google-Extended,也不會讓你從一般 Google 搜尋消失。
02
三種做法的取捨
| 做法 | 得到什麼 | 付出什麼 | 適合誰 |
|---|---|---|---|
| 全部放行 | 最大機會被 AI 搜尋引用與推薦 | 內容可能被用於訓練,沒有署名或流量 | 想被找到、內容多為服務介紹的店家 |
| 只擋訓練、放行搜尋 | 保留 AI 搜尋曝光,減少被拿去訓練 | 要維護較多規則,且只對遵守規則的爬蟲有效 | 有原創文章、圖片但仍想被推薦的品牌 |
| 全部擋掉 | 內容較少被 AI 服務直接使用 | 可能從 AI 搜尋答案中消失 | 內容本身就是商品,例如付費教材 |
03
這是資安問題嗎?要分兩件事看
robots.txt 是一份「請遵守」的告示,不是門鎖。守規矩的爬蟲會照做,惡意的掃描程式不會。所以它適合用來表達你對內容使用的意願,不適合用來保護不該公開的東西。
真正敏感的資料——會員資料、訂單、後台、內部文件——應該靠登入權限與伺服器設定保護,而不是寫在 robots.txt 裡。反過來說,把後台網址寫進 robots.txt,等於公開告訴所有人它在哪裡。
04
設定之後要確認真的生效
- 直接打開 你的網址/robots.txt,確認內容是你預期的版本
- 確認 CDN 或防火牆沒有另外攔截或改寫規則
- 若平台提供爬蟲紀錄,觀察設定前後各爬蟲的造訪是否改變
- 官方公布 IP 範圍的爬蟲,可用來分辨真的爬蟲與冒名程式
- 每季回頭看一次官方文件,名稱與規則可能更新
大量冒充知名爬蟲名稱、抓取頻率異常的流量,屬於流量防護問題,要用主機或 CDN 的限流與阻擋規則處理,而不是 robots.txt。
05
店家怎麼選:先回答一個問題
你的網站內容,是為了讓人找到你,還是內容本身就是要賣的東西?前者通常傾向放行搜尋用的爬蟲,讓 AI 能正確介紹你的服務、地區與聯絡方式;後者才需要認真考慮擋掉訓練與搜尋。
無論選哪一種,網站上的事實資料都要正確:AI 讀到過期的營業時間或價格,會把錯的答案告訴你的客人。這部分可以參考〈店家 SEO 與 GEO 基礎〉的整理。
常見問題
- 擋了 GPTBot,ChatGPT 就不會提到我的店嗎?
- 不一定。依 OpenAI 公開文件,訓練用的 GPTBot 與搜尋用的 OAI-SearchBot 是分開的名稱;只擋訓練,不代表不會出現在搜尋答案裡。AI 也可能從其他公開來源得知你的店。
- robots.txt 能阻止駭客掃描我的網站嗎?
- 不能。robots.txt 只對願意遵守的爬蟲有效。防止惡意掃描要靠更新、權限、防火牆與限流,敏感頁面要用登入保護。
- 已經被拿去訓練的內容可以撤回嗎?
- 封鎖通常只影響之後的抓取,不會讓已訓練的模型移除內容。是否有其他撤回管道,要看各家服務當時的政策。
編輯與證據揭露
本文的作者、方法與揭露
最後審閱:
- 怎麼整理
- 依 OpenAI 爬蟲說明、Google 常見檢索器清單與 Google robots.txt 簡介核對名稱、用途與限制,判斷框架由安庭網站策略團隊整理。
- 限制與邊界
- 公開作者、審閱日期、整理方法、商業關係、圖片來源與限制,不保證排名、營收、資安或法規個案結果。 本文提供一般決策與操作框架,不取代個別法律、資安、會計或專業顧問意見。 第三方功能、方案、法規與搜尋系統可能調整;涉及決策時應回到本文所列官方頁面核對最新狀態。
可自行核對的公開頁面
圖片揭露:本文未使用情境照片或客戶素材;表格、清單與比較框架由安庭編輯整理。
