炒了這么久的人工智能幫助診斷新型冠狀病毒肺炎，真的管用嗎？

大數(shù)據(jù)文摘出品

來源：discovermagazine

編譯：張大筆茹

盡管機(jī)器學(xué)習(xí)有望作為一種強(qiáng)大的醫(yī)學(xué)工具，但統(tǒng)計(jì)學(xué)家警告說，當(dāng)前的模型存在嚴(yán)重的缺陷。

多年來，許多人工智能發(fā)燒友和研究人員一直堅(jiān)信機(jī)器學(xué)習(xí)將改變現(xiàn)代醫(yī)學(xué)。他們已經(jīng)開發(fā)了數(shù)千種算法來診斷癌癥，心臟病和精神病等疾病?，F(xiàn)在正在通過識(shí)別肺部CT掃描和X射線圖像中的模式來訓(xùn)練算法來檢測新冠病毒。

許多模型旨在預(yù)測哪些患者的病情最嚴(yán)重，哪些需要呼吸機(jī)。如果這些模型是準(zhǔn)確的，它們將在為醫(yī)生提供測試和治療冠狀病毒患者發(fā)揮巨大優(yōu)勢。

但使用AI輔助治療真正的COVID-19患者的吸引力似乎還不夠。世界各地的統(tǒng)計(jì)學(xué)家都對(duì)絕大多數(shù)機(jī)器學(xué)習(xí)模型的質(zhì)量以及如果醫(yī)院采用它們可能造成的危害表示關(guān)注。

“它使很多人感到恐懼，因?yàn)槲覀冎滥Ｐ涂梢杂脕碜龀鲠t(yī)療決定，”荷蘭烏得勒支大學(xué)醫(yī)學(xué)中心的醫(yī)學(xué)統(tǒng)計(jì)學(xué)家Maarten van Smeden說。 “如果模型不好，他們可能會(huì)使醫(yī)療決策更糟， 因此實(shí)際上可能會(huì)傷害患者?！?/strong>

Van Smeden與一大批國際研究人員共同領(lǐng)導(dǎo)一個(gè)使用標(biāo)準(zhǔn)化標(biāo)準(zhǔn)評(píng)估COVID-19模型的項(xiàng)目。該項(xiàng)目是BMJ有史以來的首次現(xiàn)場審查，這意味著40名（且正在不斷增長）審查員團(tuán)隊(duì)正在隨著新模型的發(fā)布而積極地更新他們的審查。

到目前為止，他們對(duì)COVID-19機(jī)器學(xué)習(xí)模型的審核結(jié)果并不理想：嚴(yán)重缺乏數(shù)據(jù)，缺乏來自廣泛研究領(lǐng)域的必要專業(yè)知識(shí)。其實(shí)新的COVID-19算法所面臨的問題根本就不是新問題：醫(yī)學(xué)研究中的AI模型多年來一直存在嚴(yán)重缺陷，諸如van Smeden這樣的統(tǒng)計(jì)學(xué)家一直在努力發(fā)出警告來遏制這一局面。

在COVID-19大流行之前，范德比爾特大學(xué)的生物統(tǒng)計(jì)學(xué)家弗蘭克·哈雷爾（Frank Harrell）在全國范圍內(nèi)與醫(yī)學(xué)研究人員就當(dāng)前醫(yī)學(xué)AI模型的問題進(jìn)行了廣泛的討論。他經(jīng)常借用著名經(jīng)濟(jì)學(xué)家的話來描述這個(gè)問題：醫(yī)學(xué)研究人員正在使用機(jī)器學(xué)習(xí)來“折磨他們的數(shù)據(jù)，直到找出結(jié)果”。

這些數(shù)字證明了Harrell的主張，絕大多數(shù)醫(yī)學(xué)算法幾乎不符合基本質(zhì)量標(biāo)準(zhǔn)。2019年10月，由英國伯明翰大學(xué)的劉曉軒和Alastair Denniston領(lǐng)導(dǎo)的一組研究人員發(fā)表了第一個(gè)系統(tǒng)綜述，旨在回答這個(gè)時(shí)髦卻難以捉摸的問題：機(jī)器在診斷患者方面是否能比醫(yī)生更好？他們得出的結(jié)論是，從醫(yī)學(xué)成像檢測疾病時(shí)，大多數(shù)機(jī)器學(xué)習(xí)算法都可以與人類醫(yī)生媲美。然而，還有另一個(gè)令人震驚的發(fā)現(xiàn)-自2012年以來，在發(fā)表的關(guān)于疾病檢測算法的總共20,530項(xiàng)研究中，只有不到1％的方法學(xué)嚴(yán)謹(jǐn)性足以納入其分析。

研究人員認(rèn)為，絕大多數(shù)AI研究的糟糕表現(xiàn)與近期醫(yī)學(xué)界對(duì)AI的過度宣傳直接相關(guān)。科學(xué)家越來越希望將AI添加到他們的研究中，期刊也希望比以往更多地使用AI發(fā)布研究。丹尼斯頓說：“與出版物中沒有AI的情況相比，發(fā)表前的研究質(zhì)量并不理想?！?/strong>

以前算法的主要質(zhì)量問題也出現(xiàn)在COVID-19模型中。隨著COVID-19機(jī)器學(xué)習(xí)算法的數(shù)量迅速增加，它們正迅速成為該領(lǐng)域已經(jīng)存在的所有問題的縮影。

就像他們的前任一樣，新的COVID-19模型的缺陷始于缺乏透明度。統(tǒng)計(jì)人員很難簡單地弄清楚特定COVID-19 AI研究的研究人員實(shí)際所做的事情，因?yàn)檫@些信息通常沒有記錄在他們的出版物中。van Smeden說：“他們的文章如此糟糕，我不能理解這些模型輸入的含義，更不用說輸出的內(nèi)容了，這太恐怖了?！?br>

由于缺乏文件資料，van Smeden的團(tuán)隊(duì)無法確定最初從何處建立模型的數(shù)據(jù)，因此很難評(píng)估模型是否對(duì)疾病的嚴(yán)重程度做出準(zhǔn)確的診斷或預(yù)測，也不清楚該模型在應(yīng)用于新患者時(shí)是否會(huì)有準(zhǔn)確的結(jié)果。

另一個(gè)普遍的問題是，訓(xùn)練機(jī)器學(xué)習(xí)算法需要大量數(shù)據(jù)，但范·斯梅登（van Smeden）說，他的團(tuán)隊(duì)審查的模型很少使用。他解釋說，復(fù)雜的模型可能具有數(shù)百萬個(gè)變量，這意味著要建立準(zhǔn)確的診斷或疾病進(jìn)展模型，必須包含數(shù)千名患者的數(shù)據(jù)集。但是范·斯梅登（van Smeden）表示，當(dāng)前的模型甚至無法接近這個(gè)標(biāo)準(zhǔn)，最多只有數(shù)百個(gè)數(shù)據(jù)集。

這些小型數(shù)據(jù)集并不是由全球缺少COVID-19案例引起的。van Smeden說，相反，研究人員之間缺乏協(xié)作，導(dǎo)致各個(gè)團(tuán)隊(duì)依靠自己的小型數(shù)據(jù)集。各個(gè)領(lǐng)域的研究人員沒有一起工作，這為研究人員開發(fā)和微調(diào)模型提供了很大的障礙，這些模型對(duì)于增強(qiáng)臨床護(hù)理很有意義。正如van Smeden指出的那樣，“不僅需要建模人員的專業(yè)知識(shí)，還需要統(tǒng)計(jì)學(xué)家，流行病學(xué)家和臨床醫(yī)生共同努力，以做出切實(shí)有用的東西?！弊詈?，van Smeden指出，即使在大流行期間，人工智能研究人員也需要始終保持質(zhì)量與速度之間的平衡。畢竟，快速模型（壞模型）最終會(huì)浪費(fèi)時(shí)間。

他說：“我們確實(shí)想找到好的模型，但不想成為統(tǒng)計(jì)警察。如果有好的模型，我認(rèn)為可能會(huì)有很大的幫助?！?/span>

相關(guān)報(bào)道：

點(diǎn)「在看」的人都變好看了哦！