谷歌開(kāi)源“模型搜索”平臺(tái)，適用各種領(lǐng)域、省時(shí)又省力

編譯：芒果果丨發(fā)自 思否編輯部

谷歌最近發(fā)布了一個(gè)開(kāi)源的“模型搜索”（Model Search）平臺(tái)，可以幫助研究人員高效自動(dòng)地開(kāi)發(fā)機(jī)器學(xué)習(xí)模型。

谷歌表示，Model Search 不專(zhuān)注于某一特定領(lǐng)域，能夠找到適合數(shù)據(jù)集和問(wèn)題的模型體系結(jié)構(gòu)，同時(shí)最大程度地減少編碼時(shí)間和計(jì)算資源。

基于 TensorFlow 機(jī)器學(xué)習(xí)框架，由多種算法組成

AI 模型的成功通常取決于它在各種工作負(fù)載下的性能。但是，設(shè)計(jì)一個(gè)能夠很好地概括的模型是極具挑戰(zhàn)性的。近年來(lái)，AutoML 算法開(kāi)始出現(xiàn)，幫助研究人員在不需要手動(dòng)實(shí)驗(yàn)的情況下找到正確的模型。然而，通常情況下，這些算法是計(jì)算量大的，需要數(shù)千個(gè)模型來(lái)訓(xùn)練。

Model Search 基于谷歌的 TensorFlow 機(jī)器學(xué)習(xí)框架，可以在單臺(tái)機(jī)器或多臺(tái)機(jī)器上運(yùn)行，由多個(gè)培訓(xùn)器、搜索算法、轉(zhuǎn)移學(xué)習(xí)算法和存儲(chǔ)評(píng)估模型的數(shù)據(jù)庫(kù)組成。它以一種自適應(yīng)和異步的方式運(yùn)行人工智能模型的培訓(xùn)和評(píng)估實(shí)驗(yàn)，這樣所有的培訓(xùn)者都可以分享從他們的實(shí)驗(yàn)中獲得的知識(shí)，同時(shí)獨(dú)立進(jìn)行每個(gè)實(shí)驗(yàn)。在每個(gè)循環(huán)的開(kāi)始，搜索算法查找所有已完成的試驗(yàn)，并決定下一步嘗試什么，然后它“變異”到目前為止找到的最好的架構(gòu)之一，并將得到的模型返回給訓(xùn)練器。

Model Search 瑋研究人員提供靈活、領(lǐng)域不可知的機(jī)器學(xué)習(xí)模型發(fā)現(xiàn)框架

為了進(jìn)一步提高效率和準(zhǔn)確性，模型搜索在實(shí)驗(yàn)中引入遷移學(xué)習(xí)。例如，它使用知識(shí)提取和權(quán)重分擔(dān)，這引導(dǎo)了一些變量的模型從以前的訓(xùn)練模型。這使得更快的培訓(xùn)和更廣泛的發(fā)現(xiàn)更多更好的架構(gòu)的機(jī)會(huì)成為可能。

在模型搜索運(yùn)行之后，用戶可以比較搜索過(guò)程中發(fā)現(xiàn)的許多模型。此外，他們可以創(chuàng)建自己的搜索空間來(lái)定制模型中的架構(gòu)元素。

谷歌表示，在一次內(nèi)部實(shí)驗(yàn)中，模型搜索通過(guò)最少的迭代改進(jìn)了生產(chǎn)模型，特別是在關(guān)鍵詞識(shí)別和語(yǔ)言識(shí)別方面。它還設(shè)法找到了一個(gè)架構(gòu)適合的圖像分類(lèi)的重大探索 CIFAR-10開(kāi)源成像數(shù)據(jù)集。

谷歌研究工程師 Hanna Mazzawi 和研究科學(xué)家 Xavi Gonzalvo 在一篇博客文章中寫(xiě)道，“我們希望模型搜索將為研究人員提供一個(gè)靈活的、領(lǐng)域不可知的機(jī)器學(xué)習(xí)模型發(fā)現(xiàn)框架。通過(guò)建立特定領(lǐng)域以前的知識(shí)，我們相信，當(dāng)提供由標(biāo)準(zhǔn)構(gòu)建塊組成的搜索空間時(shí)，這個(gè)框架足夠強(qiáng)大，可以建立具有最先進(jìn)性能的模型，用于研究深入的問(wèn)題?！?/span>

本文是翻譯，閱讀原文：

https://venturebeat.com/2021/02/19/googles-model-search-automatically-optimizes-and-identifies-ai-models/