谷歌搜索近5年來(lái)最大變化,使用BERT算法改進(jìn)10%搜索結(jié)果

【新智元導(dǎo)讀】Google搜索使用了BERT算法，以改進(jìn)用戶(hù)在輸入搜索查詢(xún)時(shí)的搜索結(jié)果。Google研究員兼搜索副總裁Pandu Nayak稱(chēng)：“這是我們過(guò)去五年中最大、最正向的變化，也許是自開(kāi)始以來(lái)最大的變化。”想了解更多資訊，歡迎來(lái)新智元 AI 朋友圈與大咖一起討論～

Google推出了一項(xiàng)新技術(shù)，以改進(jìn)用戶(hù)在輸入搜索查詢(xún)時(shí)提供的結(jié)果，盡管很多用戶(hù)可能沒(méi)有注意到這點(diǎn)。

谷歌目前正在對(duì)其核心搜索算法進(jìn)行更改，并表示該算法可以改進(jìn)10%的查詢(xún)結(jié)果。它是Google研究人員基于尖端自然語(yǔ)言處理（NLP）開(kāi)發(fā)的技術(shù)，BERT。

上周五，該公司宣布將開(kāi)始使用在其研究實(shí)驗(yàn)室開(kāi)發(fā)的名為BERT的人工智能系統(tǒng)，以幫助回應(yīng)來(lái)自美國(guó)的英語(yǔ)會(huì)話查詢(xún)用戶(hù)。這把在美國(guó)用英語(yǔ)發(fā)起的查詢(xún)搜索結(jié)果的匹配度提高了10%左右。后續(xù)將會(huì)推出面向其他語(yǔ)言和國(guó)家的算法。算法所做的更改主要是以技術(shù)方式理解語(yǔ)言和上下文語(yǔ)境，為用戶(hù)提供更好的搜索響應(yīng)。

Google稱(chēng)，這一技術(shù)的本質(zhì)是通過(guò)更好地理解一個(gè)句子中各個(gè)單詞之間的關(guān)聯(lián)，來(lái)提升搜索結(jié)果的準(zhǔn)確率。谷歌在一次新聞發(fā)布會(huì)上討論了一個(gè)例子，其搜索算法能夠解析以下短語(yǔ)的含義：“你能為某個(gè)藥店買(mǎi)藥嗎？”

Google研究員兼搜索副總裁Pandu Nayak稱(chēng)，舊的Google搜索算法將該句子視為“單詞袋”。它會(huì)關(guān)注重點(diǎn)詞匯“藥”和“藥店”，并簡(jiǎn)單地給出與“藥”和“藥店”相關(guān)的查找結(jié)果。而新算法能夠理解“為某人”一詞的上下文，以意識(shí)到這是一個(gè)有關(guān)您是否可以接受他人處方的問(wèn)題，并且給出了正確的結(jié)果。

例如，鍵入“在沒(méi)有路緣的山坡上停車(chē)”，Google之前的算法通常會(huì)認(rèn)為“停車(chē)（parking)”“路緣（curb)”很重要，而不是“沒(méi)有(no)”，這意味著用戶(hù)可能會(huì)得到有關(guān)在路邊停車(chē)的搜索結(jié)果，但停車(chē)地點(diǎn)是“有路緣的山坡“。BERT則更善于理解關(guān)鍵字“沒(méi)有”，并給出符合“no curb”的結(jié)果。

經(jīng)過(guò)調(diào)整的算法是基于BERT。首字母縮略詞的每個(gè)單詞都是NLP中的一個(gè)術(shù)語(yǔ)，但要點(diǎn)是BERT看起來(lái)不像“單詞袋”那樣處理句子，而是處理句子中的所有單詞。這樣做可以使它認(rèn)識(shí)到“為某人”一詞不應(yīng)該被忽略，這對(duì)理解句子的意義是至關(guān)重要的。

Google提取了一個(gè)英語(yǔ)句子集，并隨機(jī)刪除了15％的單詞，然后BERT的任務(wù)就是弄清楚被刪掉的單詞應(yīng)該是什么。Google高級(jí)研究員兼研究高級(jí)副總裁Jeff Dean認(rèn)為，隨著時(shí)間的流逝，這種訓(xùn)練對(duì)于使NLP模型“理解”語(yǔ)境非常有效。

搜索的所有更改均經(jīng)過(guò)一系列測(cè)試，以確保它們實(shí)際上在改善結(jié)果。其中一項(xiàng)測(cè)試涉及使用Google的人工審核人員隊(duì)伍，他們通過(guò)對(duì)搜索結(jié)果的質(zhì)量進(jìn)行評(píng)級(jí)來(lái)訓(xùn)練該公司的算法，Google還進(jìn)行了實(shí)時(shí)的A / B實(shí)時(shí)測(cè)試。

算法進(jìn)步后，Google還配備了新硬件，Pandu Nayak稱(chēng)，“使用BERT構(gòu)建的某些模型較為復(fù)雜，以至于它們限制了我們使用傳統(tǒng)硬件可以完成的工作的極限，因此我們第一次使用最新的Cloud TPU來(lái)提供搜索結(jié)果并快速為您提供更多相關(guān)信息?！?/span>

但并非每個(gè)查詢(xún)都會(huì)受到BERT的影響，它只是Google用于對(duì)搜索結(jié)果進(jìn)行排名的許多不同工具中的最新工具。究竟如何將它們完美地結(jié)合在一起，這還是一個(gè)謎。Google故意將其中的某些過(guò)程神秘化，以防止垃圾郵件發(fā)送者玩弄其系統(tǒng)。但還有一個(gè)重要的神秘原因：當(dāng)計(jì)算機(jī)使用機(jī)器學(xué)習(xí)技術(shù)做出決策時(shí)，可能很難知道為什么要做出這些選擇。

這就是機(jī)器學(xué)習(xí)“黑匣子”問(wèn)題，是機(jī)器學(xué)習(xí)的一個(gè)普遍問(wèn)題。因?yàn)槿绻Y(jié)果在某種程度上是錯(cuò)誤的，可能很難診斷原因。谷歌表示，它已經(jīng)努力確保將BERT添加到其搜索算法中不會(huì)增加偏見(jiàn)，但其訓(xùn)練模型本身是有偏見(jiàn)的，由于BERT受過(guò)龐大的英語(yǔ)句子的訓(xùn)練，而這些句子本身也帶有偏見(jiàn)，因此需要密切注意。

該公司還表示，至少在大型發(fā)行商看來(lái)，它預(yù)計(jì)算法不會(huì)直接或間接影響流量。每當(dāng)Google提出更改搜索算法的信號(hào)時(shí)，就會(huì)引起網(wǎng)絡(luò)用戶(hù)的注意。因?yàn)橐恍┕镜摹吧来嫱觥笔鞘艿焦雀杷阉髋琶淖兓绊懙摹?/span>

最后，說(shuō)到搜索結(jié)果的質(zhì)量，Google研究員兼搜索副總裁Pandu Nayak說(shuō)：“這是我們過(guò)去五年中最大、最正向的變化，也許是自開(kāi)始以來(lái)最大的變化?！?/span>