GPT-5不遠了！OpenAI推出網(wǎng)絡(luò)爬蟲GPTBot，自動抓取數(shù)據(jù)，可選擇性關(guān)閉
新智元報道
新智元報道
【新智元導讀】就在剛剛，OpenAI推出了GPTBot——一個可以自動從整個互聯(lián)網(wǎng)抓取數(shù)據(jù)的網(wǎng)絡(luò)爬蟲。 得到的這些數(shù)據(jù)則會被用來訓練像GPT-4和GPT-5這樣的AI模型！
前段時間，抓取平臺用戶數(shù)據(jù)風波，Reddit網(wǎng)友吵翻了天。
今天，OpenAI推出了一個網(wǎng)絡(luò)爬蟲工具GPTBot，能夠自動抓取網(wǎng)站的數(shù)據(jù)。
如何使用？
OpenAI在發(fā)布的文檔中表示，網(wǎng)絡(luò)爬蟲將過濾刪除需要付費強訪問的來源，同時也會刪除個人身份信息（PII）或違反其政策的文本。
GPTBot抓取的數(shù)據(jù)，被用來訓練GPT-4或GPT-5，能夠提升未來人工智能系統(tǒng)的準確性和能力。
可通過以下代碼識別該工具：
User agent token: GPTBotFull user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
禁止GPTBot訪問
另一方面，你也可以通過將GPTBot添加到站點robots. txt，來禁止其訪問網(wǎng)站。
這意味著，網(wǎng)站所有者必須自愿采取措施，禁止OpenAI對自己的網(wǎng)站訪問，不將自己的數(shù)據(jù)用來訓練。
User-agent: GPTBotDisallow: /
自定義GPTBot訪問
你還可以通過以下代碼，來控制GPTBot對網(wǎng)站部分內(nèi)容的訪問。
User-agent: GPTBotAllow: /directory-1/Disallow: /directory-2/
IP出口
對于OpenAI的爬蟲，將從OpenAI網(wǎng)站上記錄的IP地址塊調(diào)用網(wǎng)站。
網(wǎng)友熱議
OpenAI此舉引發(fā)了網(wǎng)友對用于訓練AI模型的網(wǎng)絡(luò)爬蟲的道德問題的討論。
網(wǎng)友表示，終于有機會阻止OpenAI抓取你的網(wǎng)絡(luò)數(shù)據(jù)，來訓練模型。
還有人表示，ChatGPT瀏覽器插件已被移除一段時間，部分原因是它可以訪問付費墻后面的內(nèi)容。
前段時間，OpenAI于7月18日向美國專利局提交了GPT-5的商標申請，暗示著公司正在訓練更高級的AI系統(tǒng)。
GPTBot顯然將幫助該OpenAI從互聯(lián)網(wǎng)上收集更多數(shù)據(jù)來訓練這個模型。
