谷歌團(tuán)隊(duì)警告：人人都想做模型而非數(shù)據(jù)工作，這很危險(xiǎn)

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自數(shù)據(jù)實(shí)戰(zhàn)派

AI 模型越來越多地應(yīng)用于健康監(jiān)測、雇員評價(jià)、信用評級等高風(fēng)險(xiǎn)領(lǐng)域。

與之相比的是，數(shù)據(jù)質(zhì)量在 AI 中所發(fā)揮的作用卻被低估，然而真實(shí)的情況是，它在高風(fēng)險(xiǎn) AI 應(yīng)用中的價(jià)值是無可替代的。因?yàn)閿?shù)據(jù)質(zhì)量對下游的影響巨大，尤其是癌癥檢測、野生動(dòng)物偷獵和貸款分配等預(yù)測任務(wù)上。由此引出當(dāng)下的矛盾之處：“一貫被視為無足輕重的數(shù)據(jù)，其影響從未被真正了解過”。

這個(gè)結(jié)論來自谷歌團(tuán)隊(duì)的一篇題為“Everyone wants to do the model work, not the data work”: Data Cascades in High-Stakes AI”的論文，明確肯定了數(shù)據(jù)質(zhì)量在 AI 中的潛力和價(jià)值。

在該文章中，這支研究團(tuán)隊(duì)通過與印度、東非和西非國家以及美國的53位AI從業(yè)者進(jìn)行訪談，呈現(xiàn)出現(xiàn)有的高風(fēng)險(xiǎn) AI 數(shù)據(jù)實(shí)踐。

AI地基所在

數(shù)據(jù)是構(gòu)建 AI 系統(tǒng)所必需的關(guān)鍵基礎(chǔ)設(shè)施。因?yàn)閿?shù)據(jù)在很大程度上決定了 AI 系統(tǒng)的性能、公平性、穩(wěn)健性、安全性和可擴(kuò)展性。然而矛盾的是，對于 AI 研究人員和開發(fā)人員而言，數(shù)據(jù)方面通常是最不被重視的。

從直覺上看，AI 開發(fā)人員認(rèn)為數(shù)據(jù)質(zhì)量很重要。而實(shí)際上，大多數(shù)組織都沒有建立或滿足任何數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，這是因?yàn)橄鄬τ谀Ｐ烷_發(fā)任務(wù)，數(shù)據(jù)工作的價(jià)值向來被忽視，更別提時(shí)間成本了。

研究團(tuán)隊(duì)從來自印度、美國、東非和西非國家的 53 位 AI 從業(yè)者的實(shí)踐和結(jié)構(gòu)因素進(jìn)行了定性研究并報(bào)告了結(jié)果，將 AI 應(yīng)用于高風(fēng)險(xiǎn)領(lǐng)域，包括滑坡檢測、自殺預(yù)防和癌癥檢測，旨在了解這些從業(yè)者如何對端到端 AI 數(shù)據(jù)生命周期概念化和導(dǎo)航化。

研究采用的半結(jié)構(gòu)化訪談，主要關(guān)注以下幾個(gè)內(nèi)容：

（1）數(shù)據(jù)源和AI生命周期；

（2）定義數(shù)據(jù)質(zhì)量；

（3）數(shù)據(jù)質(zhì)量反饋回路；

（4）上下游數(shù)據(jù)效應(yīng)；

（5）利益相關(guān)者和問責(zé)制；

（6）激勵(lì)結(jié)構(gòu)；

（7）有效的干預(yù)措施。

他們通過開發(fā)者社區(qū)、分發(fā)名單、專業(yè)網(wǎng)絡(luò)和個(gè)人聯(lián)系人的組合方式來招募參與者，使用滾雪球式和有目的性的抽樣，不斷迭代直到飽和。

參與者人口統(tǒng)計(jì)的具體信息如表 1 所示：

表1

為了更清楚的展示問題，他們定義、識別并提供了數(shù)據(jù)庫級聯(lián)（Data Cascades）的經(jīng)驗(yàn)證據(jù)——由低估數(shù)據(jù)質(zhì)量的傳統(tǒng) AI/ML 實(shí)踐引發(fā)的復(fù)合事件，這些事件會造成數(shù)據(jù)問題的負(fù)面和下游影響。

研究發(fā)現(xiàn)，低估數(shù)據(jù)工作的價(jià)值在 AI 開發(fā)中屢見不鮮。

換句話說，由此導(dǎo)致的數(shù)據(jù)庫級聯(lián)的存在非常普遍。數(shù)據(jù)庫級聯(lián)通常是由于應(yīng)用了傳統(tǒng)的 AI 實(shí)踐，低估了數(shù)據(jù)質(zhì)量而引發(fā)的。

在進(jìn)行項(xiàng)目中，有 92% 的 AI 從業(yè)者報(bào)告經(jīng)歷了一個(gè)或多個(gè)級聯(lián)，而 45.3% 的人報(bào)告了兩個(gè)或多個(gè)級聯(lián)。

例如，在無噪聲數(shù)據(jù)上訓(xùn)練以獲得高模型性能的眼部疾病檢測模型，無法根據(jù)圖像上的小灰塵斑點(diǎn)預(yù)測產(chǎn)生的疾病。數(shù)據(jù)庫級聯(lián)不透明且有延遲，指標(biāo)和衡量標(biāo)準(zhǔn)較差。級聯(lián)對模型的下游任務(wù)構(gòu)成了主要的負(fù)面影響，如昂貴的迭代、廢棄項(xiàng)目和對社區(qū)的危害。需要注意的是，如果通過有意的做法，級聯(lián)基本上是可以避免的。

這種高普遍性表明，AI 領(lǐng)域潛藏著一個(gè)更大的問題，即數(shù)據(jù)實(shí)踐、方法和激勵(lì)機(jī)制的損壞。數(shù)據(jù)庫級聯(lián)、其指標(biāo)和影響應(yīng)當(dāng)放在更廣闊的高風(fēng)險(xiǎn)領(lǐng)域和 AI 生態(tài)系統(tǒng)中進(jìn)行審查。

普遍存在的問題

影響高風(fēng)險(xiǎn)領(lǐng)域中數(shù)據(jù)庫級聯(lián)因素有很多，論文主要總結(jié)出以下幾點(diǎn)：

1、AI 中的激勵(lì)機(jī)制

“每個(gè)人都想做模型工作而不是數(shù)據(jù)工作”。

對 AI 中不可見、費(fèi)力且理所當(dāng)然的數(shù)據(jù)工作缺乏系統(tǒng)認(rèn)識，導(dǎo)致糟糕的數(shù)據(jù)實(shí)踐，進(jìn)而引發(fā)數(shù)據(jù)庫級聯(lián)。

與模型不同，對數(shù)據(jù)的關(guān)心和改進(jìn)不容易被“跟蹤”或得到獎(jiǎng)勵(lì)。據(jù)報(bào)道，在 ML 出版物中，AI 模型作為在該領(lǐng)域獲得聲望和上升流動(dòng)的手段，使從業(yè)者在 AI/ML 工作及其他方面更具競爭力。然而，許多從業(yè)者將數(shù)據(jù)工作描述為耗時(shí)的、無法跟蹤的工作，并且經(jīng)常是在利潤壓力下快速完成的，往往無法專注于提升數(shù)據(jù)質(zhì)量。此外，在高質(zhì)量的數(shù)據(jù)收集和注釋工作上很難獲得客戶和投資者的支持，特別是在價(jià)格敏感的新興市場，比如東非、西非國家和印度。

2、數(shù)據(jù)教育

在 AI 的數(shù)據(jù)質(zhì)量、收集和倫理道德方面缺乏培訓(xùn)，導(dǎo)致從業(yè)者在處理高風(fēng)險(xiǎn)領(lǐng)域創(chuàng)建數(shù)據(jù)集的復(fù)雜性方面準(zhǔn)備不足。

AI 課程專注于清洗數(shù)據(jù)后的小數(shù)據(jù)集（如UCI 人口普查， Kaggle數(shù)據(jù)集），但在實(shí)踐中，部署 AI 需要?jiǎng)?chuàng)建數(shù)據(jù)管道，通常是從零開始。正如西非國家從事醫(yī)療保健的工作人員解釋的那樣：“在現(xiàn)實(shí)生活中，我們從未看到干凈的數(shù)據(jù)。課程和培訓(xùn)側(cè)重于要使用的工具，而很少涉及數(shù)據(jù)清理和管道漏洞?！蓖瑯?，來自美國的一位教員也進(jìn)行了說明：“我們從未接受過計(jì)算機(jī)科學(xué)（CS, Computer Science）的培訓(xùn)，也沒有積極地考慮數(shù)據(jù)收集的問題?！笨偠灾?，數(shù)據(jù)工程一直都未得到足夠的重視。

3、數(shù)據(jù)自舉

高風(fēng)險(xiǎn)的 AI 領(lǐng)域需要按地區(qū)、人口、現(xiàn)象或物種劃分的專門數(shù)據(jù)集，尤其是在數(shù)字化不足的環(huán)境中。

例如，在泰米爾納德邦農(nóng)村地區(qū)的瘧疾傳播，馬賽馬拉的大象運(yùn)動(dòng)。74% 的從業(yè)者從零開始進(jìn)行數(shù)據(jù)收集工作——許多人在對此無準(zhǔn)備的情況下坦然接受，也有的人為此放棄了 AI 項(xiàng)目。

來自美國的從業(yè)者大多是從現(xiàn)有資源和已建立的數(shù)字基礎(chǔ)設(shè)施中起步的，例如衛(wèi)星數(shù)據(jù)、傳感器數(shù)據(jù)和公共數(shù)據(jù)集，而東非、西非和印度等的大多數(shù)國家則從頭收集數(shù)據(jù)，并“量身定制”在線數(shù)據(jù)集。使用其他地區(qū)的數(shù)據(jù)進(jìn)行自舉會造成通用性方面的限制。例如，美國清潔能源使用美國東北部的衛(wèi)星數(shù)據(jù)進(jìn)行自舉模型訓(xùn)練，但由于地形、云層和污染的差異，無法應(yīng)用到目標(biāo)位置。

4、下游問責(zé)制

高風(fēng)險(xiǎn) AI 的定義特征之一是隱含著對生命體特別是人類自己的責(zé)任。

由于在與弱勢群體合作時(shí)缺乏數(shù)據(jù)和采用下游方法，所以當(dāng)從業(yè)者面臨挑戰(zhàn)時(shí)便會發(fā)生數(shù)據(jù)庫級聯(lián)。性能差的風(fēng)險(xiǎn)主要表現(xiàn)為對社區(qū)的傷害，但也會降低用戶的信任度。

“如果你建立了預(yù)測眼疾的模型，然而預(yù)測結(jié)果是這個(gè)人沒有患上眼病，那么你就會讓這個(gè)人失明。” 因此，研究報(bào)告顯示，消費(fèi)者 AI（例如廣告技術(shù)）的目標(biāo)通常是 70-75% 的準(zhǔn)確率，而針對于高風(fēng)險(xiǎn)領(lǐng)域，每增加 1% 的準(zhǔn)確率都至關(guān)重要?！澳壳斑€沒有一種明確的方法來有效地進(jìn)行模型測試，以防止對患者造成某種傷害。可見，一切都始于風(fēng)險(xiǎn)?！?/span>

研究確定了數(shù)據(jù)庫級聯(lián)和相應(yīng)從業(yè)者行為的根本原因，并再次強(qiáng)調(diào)，在構(gòu)建 AI 系統(tǒng)時(shí)需要高質(zhì)量的數(shù)據(jù)，對數(shù)據(jù)工作的付出應(yīng)視為 AI 生態(tài)系統(tǒng)的寶貴貢獻(xiàn)。任何解決方案都需要考慮AI生態(tài)系統(tǒng)的社會、技術(shù)和結(jié)構(gòu)這三方面。

更細(xì)節(jié)的場景下，數(shù)據(jù)庫級聯(lián)受到以下因素的影響：

（a）參與 AI 開發(fā)的行為體（例如，開發(fā)人員、政府和現(xiàn)場合作伙伴）的活動(dòng)和相互作用，

（b）AI 系統(tǒng)所處的物理世界和社區(qū)（例如，配備數(shù)據(jù)收集傳感器的農(nóng)村醫(yī)院）。

而且數(shù)據(jù)庫級聯(lián)表現(xiàn)出以下屬性：

1.不透明（Opaque）：數(shù)據(jù)庫級聯(lián)是復(fù)雜的、長期的、頻繁和持續(xù)發(fā)生的；它們在診斷和表現(xiàn)上是不透明的，具體表現(xiàn)在沒有明確的指標(biāo)、工具來檢測和衡量其對系統(tǒng)的影響。在缺乏明確定義和及時(shí)信號的情況下，從業(yè)者將目光轉(zhuǎn)向了替代性指標(biāo)（例如，準(zhǔn)確率、精確度或 F1 分?jǐn)?shù)），注意其中的度量單位是整個(gè)系統(tǒng)，而非指數(shù)據(jù)集。

2.觸發(fā)者（Triggered by）：當(dāng)傳統(tǒng) AI 實(shí)踐被應(yīng)用于高風(fēng)險(xiǎn)領(lǐng)域時(shí)，就會觸發(fā)數(shù)據(jù)庫級聯(lián)，這些領(lǐng)域的特點(diǎn)是高問責(zé)性、跨學(xué)科工作和資源緊張。

3.負(fù)面影響（Negative impact）：數(shù)據(jù)庫級聯(lián)對 AI 開發(fā)和部署過程有負(fù)面影響，導(dǎo)致在很多種場景下，一些意想不到的策略難免引發(fā)進(jìn)一步的級聯(lián)，從而頻繁造成技術(shù)債務(wù)。

哪些領(lǐng)域存在高風(fēng)險(xiǎn) AI？

文章特別關(guān)注對生物環(huán)境有安全影響的高風(fēng)險(xiǎn)領(lǐng)域中的數(shù)據(jù)低估現(xiàn)象，并總結(jié)出以下趨勢：

1.開發(fā)人員正越來越多地在復(fù)雜的人道主義領(lǐng)域部署 AI 模型，例如在孕產(chǎn)婦健康、道路安全和氣候變化等方面；

2.高風(fēng)險(xiǎn)領(lǐng)域的低質(zhì)量數(shù)據(jù)可能會對脆弱的社區(qū)和環(huán)境造成巨大影響。

正如 Hiatt 等人所言，這些高風(fēng)險(xiǎn)的工作不同于日常的客戶服務(wù)；這些項(xiàng)目是為那些面臨一連串恐怖事件風(fēng)險(xiǎn)的人群服務(wù)的。例如，不良的數(shù)據(jù)實(shí)踐降低了 IBM 癌癥治療 AI 的準(zhǔn)確性，并導(dǎo)致谷歌流感預(yù)測與流感高峰期的差值達(dá) 140%。

3.高風(fēng)險(xiǎn) AI 系統(tǒng)通常部署在低資源環(huán)境下，明顯缺乏現(xiàn)成的高質(zhì)量數(shù)據(jù)集。應(yīng)用程序擴(kuò)展到生活在現(xiàn)代數(shù)據(jù)基礎(chǔ)設(shè)施之外的社區(qū)，或日常功能尚未得到持續(xù)追蹤的社區(qū)。例如，在農(nóng)村地區(qū)通過步行距離來收集水資源數(shù)據(jù)，這與直接點(diǎn)擊數(shù)據(jù)形成鮮明對比。

4.高風(fēng)險(xiǎn) AI 通常是由兩種或更多學(xué)科組合而成。例如，AI 和糖尿病視網(wǎng)膜病變，導(dǎo)致許多組織和領(lǐng)域中的利益相關(guān)者之間面臨更大的合作挑戰(zhàn)。

考慮到上述因素，目前 AI 的數(shù)據(jù)質(zhì)量問題是借助為處理其他技術(shù)問題創(chuàng)建的錯(cuò)誤工具來解決的——它們被視為數(shù)據(jù)庫問題、法律合規(guī)性問題或授權(quán)協(xié)議問題。

在團(tuán)隊(duì)的研究中，美國的應(yīng)用領(lǐng)域聚焦于生態(tài)、氣候和福祉，而印度、東非和西非國家的領(lǐng)域與可持續(xù)發(fā)展目標(biāo)更緊密地聯(lián)系在一起，如小額信貸、醫(yī)療保健和農(nóng)業(yè)，更是與人類影響直接相關(guān)。

圖 1 為高風(fēng)險(xiǎn) AI 中的數(shù)據(jù)庫級聯(lián)。上文介紹過級聯(lián)是不透明的，而且會產(chǎn)生長時(shí)間的負(fù)面效應(yīng)。級聯(lián)往往是在上游出發(fā)，如數(shù)據(jù)收集；然后對下游產(chǎn)生影響，如模型部署。紅色粗箭頭表示數(shù)據(jù)級聯(lián)開始變得可見后的復(fù)合效果；紅色虛箭頭表示 ML 數(shù)據(jù)處理的放棄或重新啟動(dòng)。指標(biāo)在模型評估中是可見的，如系統(tǒng)度量以及故障或用戶反饋。

圖 1

表 2 概述了四種核心級聯(lián)—觸發(fā)器、影響和信號及其分布。影響的嚴(yán)重程度各不相同，從浪費(fèi)時(shí)間和精力到損害受益者。最嚴(yán)重的數(shù)據(jù)庫級聯(lián)也是長期存在的，而從業(yè)者并不知曉；甚至在某些情況下，需要 2-3 年才能顯現(xiàn)。

表2 

結(jié)論

隨著 AI 成為生活中核心決策的重要組成部分，驅(qū)動(dòng)這些模型的數(shù)據(jù)的質(zhì)量變得尤為重要。

總而言之，該調(diào)查對印度、東非和西非國家以及美國的 53 位 AI 從業(yè)者的數(shù)據(jù)實(shí)踐和挑戰(zhàn)進(jìn)行了定性研究，這些從業(yè)者主要從事健康、野生動(dòng)物保護(hù)、食品系統(tǒng)、道路安全、信貸和環(huán)境等前沿、高風(fēng)險(xiǎn)領(lǐng)域的工作。

研究團(tuán)隊(duì)觀察并展示了數(shù)據(jù)庫級聯(lián)，對 AI 模型而言，一般表現(xiàn)為長期性、不可見和復(fù)合效應(yīng)。這些影響通常是在高風(fēng)險(xiǎn)領(lǐng)域應(yīng)用傳統(tǒng) AI/ML 實(shí)踐的結(jié)果——許多傳統(tǒng)實(shí)踐沒有整齊地轉(zhuǎn)移，并時(shí)常造成嚴(yán)重的影響，如社區(qū)損害、放棄項(xiàng)目和重新進(jìn)行數(shù)據(jù)收集等。

個(gè)人可以嘗試在模型開發(fā)過程中避免數(shù)據(jù)庫級聯(lián)，但在 AI 實(shí)踐中如何看待數(shù)據(jù)，需要的是一種更廣泛、系統(tǒng)的方法來實(shí)現(xiàn)結(jié)構(gòu)性、可持續(xù)的轉(zhuǎn)變。哪怕是從業(yè)者對數(shù)據(jù)質(zhì)量的重要性有共識的領(lǐng)域，混亂、冗長和不透明的數(shù)據(jù)庫級聯(lián)也發(fā)人深省地普遍存在。

由此，團(tuán)隊(duì)倡議，將數(shù)據(jù)視為一項(xiàng)“至關(guān)重要的工作”，積極關(guān)注數(shù)據(jù)的優(yōu)質(zhì)程度——關(guān)注數(shù)據(jù) pipeline 的實(shí)踐、政治和人的價(jià)值觀，通過使用流程、標(biāo)準(zhǔn)、基礎(chǔ)設(shè)施和激勵(lì)措施來提高數(shù)據(jù)的質(zhì)量和地位。雖然團(tuán)隊(duì)的研究分析僅限于高風(fēng)險(xiǎn)的 AI 項(xiàng)目，但依舊堅(jiān)信，這些挑戰(zhàn)可能以或多或少的放大形式存在于所有 AI 開發(fā)任務(wù)中。

點(diǎn)「在看」的人都變好看了哦！