Milvus向量數(shù)據(jù)庫(kù)
Milvus 向量數(shù)據(jù)庫(kù)能夠幫助用戶輕松應(yīng)對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)(圖片/視頻/語(yǔ)音/文本)檢索。單節(jié)點(diǎn) Milvus 可以在秒內(nèi)完成十億級(jí)的向量搜索(請(qǐng)參考:在線教程),分布式架構(gòu)亦能滿足用戶的水平擴(kuò)展需求。
Milvus 向量數(shù)據(jù)庫(kù)的應(yīng)用場(chǎng)景包括:互聯(lián)網(wǎng)娛樂(lè)(圖片搜索/視頻搜索)、新零售(以圖搜商品)、智慧金融(用戶認(rèn)證)和智能物流(車(chē)輛識(shí)別)等領(lǐng)域。
希望 Milvus 向量數(shù)據(jù)庫(kù)能幫助更多的用戶應(yīng)對(duì)非結(jié)構(gòu)數(shù)據(jù)和AI帶來(lái)的機(jī)遇與挑戰(zhàn)。
數(shù)據(jù)智能的挑戰(zhàn)
隨著信息化技術(shù)的不斷進(jìn)步,人們正經(jīng)歷爆炸式的數(shù)據(jù)增長(zhǎng)。非結(jié)構(gòu)數(shù)據(jù)(如圖片、視頻、語(yǔ)音和文字)比傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)更快,數(shù)據(jù)量更大。之所以稱其為非結(jié)構(gòu)數(shù)據(jù),是因?yàn)檫@些數(shù)據(jù)無(wú)法以傳統(tǒng)方式進(jìn)行處理與價(jià)值挖掘。如何從非結(jié)構(gòu)數(shù)據(jù)中提取有價(jià)值的內(nèi)容與信息,已經(jīng)逐漸成為企業(yè)進(jìn)一步挖掘數(shù)據(jù)價(jià)值的關(guān)鍵。
深度學(xué)習(xí)目前被認(rèn)為是最有效的非結(jié)構(gòu)數(shù)據(jù)處理方式之一。非結(jié)構(gòu)數(shù)據(jù)經(jīng)過(guò)深度學(xué)習(xí)模型的處理,會(huì)被向量化。于是,海量非結(jié)構(gòu)數(shù)據(jù)的分析處理被轉(zhuǎn)化為對(duì)海量向量的近似搜索。雖然處理圖片,視頻,語(yǔ)音和文字的深度學(xué)習(xí)模型各不相同,但最終的向量處理需求卻是相同的。因此,向量數(shù)據(jù)庫(kù)是 AI 應(yīng)用的基石之一。
Milvus,開(kāi)源 AI 基礎(chǔ)組件
Milvus 是一個(gè)開(kāi)源的分布式向量數(shù)據(jù)庫(kù)。Milvus 數(shù)據(jù)庫(kù)不但集成了業(yè)界成熟的向量相似度搜索技術(shù),更在此基礎(chǔ)上對(duì)高性能計(jì)算框架進(jìn)行了大幅度優(yōu)化。Milvus 為 AI 應(yīng)用開(kāi)發(fā)者帶來(lái)了如下價(jià)值:
高性能
Milvus 數(shù)據(jù)庫(kù)為海量向量搜索場(chǎng)景而設(shè)計(jì)。Milvus 不但集成了業(yè)界成熟的向量搜索技術(shù)如 Faiss 和 SPTAG,Milvus 也實(shí)現(xiàn)了高效的 NSG 圖索引。同時(shí),Milvus 團(tuán)隊(duì)針對(duì) Faiss IVF 索引進(jìn)行了深度優(yōu)化,實(shí)現(xiàn)了 CPU 與多 GPU 的融合計(jì)算,大幅提高了向量搜索性能。Milvus 數(shù)據(jù)庫(kù)可以在單機(jī)環(huán)境下完成 SIFT1b 十億級(jí)向量搜索任務(wù)。
更多信息請(qǐng)參考 GitHub 文檔:https://github.com/milvus-io/bootcamp/blob/master/docs/milvus101/hardware_platform.md
智能索引
針對(duì)不同應(yīng)用場(chǎng)景,Milvus 數(shù)據(jù)庫(kù)提供多種向量相似度計(jì)算方式和索引類型。Milvus 數(shù)據(jù)庫(kù)目前支持主流的歐式距離、點(diǎn)積、余弦相似度(未來(lái) Milvus 數(shù)據(jù)庫(kù)會(huì)集成更多的相似度計(jì)算方式)。同時(shí),Milvus 數(shù)據(jù)庫(kù)提供適用于 n:N 查詢的量化索引,適用于 1:N 查詢的圖索引或樹(shù)圖混合索引。
Milvus 索引類型:
- IVF:Faiss IVF(CPU計(jì)算,或GPU計(jì)算),Milvus 深度優(yōu)化的IVF(CPU/GPU混合計(jì)算)
- Graph:Milvus 數(shù)據(jù)庫(kù)實(shí)現(xiàn)的 NSG 索引
- Tree & Graph:集成微軟 SPTAG
- IVF & Graph:Milvus 實(shí)現(xiàn)中
易于開(kāi)發(fā)
Milvus 數(shù)據(jù)庫(kù)為用戶提供向量數(shù)據(jù)管理服務(wù),以及集成的應(yīng)用開(kāi)發(fā) SDK(Java/Python/C++/RESTful API)。相比直接調(diào)用 Faiss 和 SPTAG 那樣的程序庫(kù),Milvus 數(shù)據(jù)庫(kù)上的應(yīng)用開(kāi)發(fā)更便捷,數(shù)據(jù)管理更簡(jiǎn)單。
計(jì)算成本可控
Milvus 數(shù)據(jù)庫(kù)不僅提供傳統(tǒng)的 CPU 計(jì)算方案,通過(guò)引入 GPU 等高算力 ASIC,Milvus 數(shù)據(jù)庫(kù)可以有效降低大規(guī)模向量搜索所需的硬件規(guī)模,從而降低系統(tǒng)的成本。
應(yīng)用場(chǎng)景廣泛
Milvus 向量數(shù)據(jù)庫(kù)可以對(duì)接包括圖片識(shí)別,視頻處理,聲音識(shí)別,自然語(yǔ)言處理等深度學(xué)習(xí)模型。為向量化后的非結(jié)構(gòu)數(shù)據(jù)提供搜索分析服務(wù)。
歡迎加入Milvus社區(qū)
- 主頁(yè): milvus.io
- Github:github.com/milvus-io/milvus
- 知乎: zhuanlan.zhihu.com/milvus
- Slack: milvusio.slack.com
- Twitter:twitter.com/milvusio
- Facebook:www.facebook.com/io.milvus.5
