操小逼无码,www.豆花视频,在线高清视频无码不卡,91aaa国产,深爱五月激情,国产激情视频精品,欧美成人AAA片一区国产精品,翔田千里最猛的A片

文章轉(zhuǎn)載自機(jī)器之心（ID：almosthuman2014）

生成模型也有自己的搜索引擎啦！

從前幾年出盡風(fēng)頭的 GAN 到今年獨(dú)占鰲頭的 Stable Diffusion，預(yù)訓(xùn)練生成模型一直風(fēng)頭不減，相關(guān)論文、模型也是層出不窮。這就帶來了一些問題：如何在眾多模型中找到自己想要的那一個？如何找到對應(yīng)模型的學(xué)習(xí)資料（比如代碼庫）？自己做了個新模型如何與更多的人分享（除了發(fā)推特）？

近日，卡內(nèi)基梅隆大學(xué)助理教授朱俊彥等人開發(fā)了一個名為「Modelverse」的在線分享和搜索平臺來解決這些問題。

Modelverse 是一個包含多種深度生成模型的模型共享和搜索平臺，例如 GAN、擴(kuò)散模型和自回歸模型，題材包括動物、風(fēng)景、肖像和藝術(shù)品等。你可以在這個平臺上查找或者共享深度生成模型。

平臺鏈接：https://modelverse.cs.cmu.edu/

平臺提供的搜索方式是多樣化的，你可以輸入文字檢索，也可以輸入圖像、簡筆畫或多模態(tài)信息檢索。

比如，以一張飛機(jī)的簡筆畫作為輸入，我們可以得到以下結(jié)果：

以大象的圖片為輸入，我們也能找到可以生成大象圖像的 GAN 模型：

那么，這些功能具體是怎么實(shí)現(xiàn)的呢？

在最新公布的論文中，作者進(jìn)行了詳細(xì)的介紹。

論文鏈接：https://arxiv.org/pdf/2210.03116.pdf

該搜索系統(tǒng)由預(yù)緩存階段（a，b）和推理階段（c）組成。給定一組模型，（a）首先為每個模型生成 50K 的樣本。（b）然后將圖像編碼為圖像特征并計算每個模型的一階和二階特征統(tǒng)計。統(tǒng)計數(shù)據(jù)被緩存在系統(tǒng)中，以提高效率。（c）在推理時，系統(tǒng)支持不同模式（文本、圖像或草圖）的查詢。系統(tǒng)將查詢編碼為特征向量，并評估查詢特征與每個模型的統(tǒng)計數(shù)據(jù)之間的相似性，由此檢索具有最佳相似性度量的模型。

搜索結(jié)果

模型檢索的定性結(jié)果。下面展示了三種不同模態(tài)的模型檢索結(jié)果，分別是圖像、草圖、文本。

該系統(tǒng)還支持多模態(tài)查詢 (下圖左) ，并支持使用模型作為查詢來查找相似的模型 (下圖右)。

圖像重建與編輯。隨著生成模型數(shù)量的爆發(fā)式增長，用戶越來越不可能了解每一個有趣的模型，但是為自己的特定用途選擇正確的模型可能是至關(guān)重要的。下圖顯示，選擇正確的生成模型進(jìn)行圖像查詢可以得到更好的轉(zhuǎn)換結(jié)果，從而更好地進(jìn)行潛在空間插值和圖像編輯。

但我們可以發(fā)現(xiàn)，這個搜索系統(tǒng)還存在一些局限性。如下圖（左）所示，有時侯草圖查詢（例如，鳥的草圖）會匹配具有抽象風(fēng)格的模型。CLIP 特征是否與草圖的形狀、樣式、紋理相匹配是不明確的。如下圖（右）所示，對于彼此沖突的多模態(tài)查詢（大象文本 + 狗圖像），系統(tǒng)就難以檢索具有這兩個概念的模型——排名靠前的模型中沒有大象模型。

隨著平臺上共享的模型越來越多，平臺的搜索體驗(yàn)有望逐步改善。

GAN、擴(kuò)散模型應(yīng)有盡有，生成模型專屬搜索引擎Modelverse來了