騰訊云向量數(shù)據(jù)庫接入外部企業(yè)超100家!

10月24日,在第四屆長沙·中國1024程序員節(jié)上,騰訊云數(shù)據(jù)庫副總經(jīng)理羅云透露,騰訊云向量數(shù)據(jù)庫自7月份發(fā)布以來,已經(jīng)服務騰訊集團內(nèi)部40多個業(yè)務,日請求量達1600億次,服務的外部客戶數(shù)也已經(jīng)超過100家。
羅云表示,作為國內(nèi)首個從接入層、計算層、到存儲層提供全生命周期AI化的向量數(shù)據(jù)庫,騰訊云向量數(shù)據(jù)庫最高支持10億級向量檢索規(guī)模,毫秒級延遲,相比傳統(tǒng)單機插件式數(shù)據(jù)庫檢索規(guī)模提升10倍,同時具備百萬級每秒查詢(QPS)的峰值能力。

騰訊云數(shù)據(jù)庫副總經(jīng)理 羅云
“因為提供了接入層、計算層、存儲層的全面AI化解決方案,用戶可以在使用向量數(shù)據(jù)庫的全生命周期過程中,都能應用到AI能力。”羅云強調(diào)。
向量數(shù)據(jù)庫是通過把數(shù)據(jù)向量化,然后進行存儲和查詢,可以極大地提升效率和降低成本。它能解決大模型預訓練成本高、沒有“長期記憶”、知識更新不足、提示詞工程復雜等問題,突破大模型在時間和空間上的限制,加速大模型落地行業(yè)場景。
針對目前席卷全球的AI浪潮,羅云表示,如果AI 1.0時代,用戶對于基礎的關(guān)注重點是單機單卡的性能、標量數(shù)據(jù)的結(jié)構(gòu)化精準檢索,以及云原生帶來的自動調(diào)度。那么,AI 2.0時代,由于服務重心變?yōu)锳I企業(yè)及大模型,關(guān)注的重點已經(jīng)轉(zhuǎn)移到集群性能的提升、向量數(shù)據(jù)的存儲與檢索,以及自動容錯能力上。因此AI 2.0時代,客戶需要的是一個更加靈活、自由、高性能的云平臺。
基于這樣的背景而誕生的騰訊云AI超級底座,結(jié)合騰訊云在高性能計算集群、向量數(shù)據(jù)庫、高性能網(wǎng)絡和存儲等能力,支撐著上層AI相關(guān)的PaaS、MaaS以及SaaS服務。
羅云表示:“向量數(shù)據(jù)庫是支撐AI大模型的重要基礎設施,這是騰訊云向量數(shù)據(jù)庫和其他廠商最大的不同。正是基于這樣的理念,騰訊云向量數(shù)據(jù)庫在一開始就基于AI設計”。
在接入層,騰訊云向量數(shù)據(jù)庫支持自然語言文本的輸入,同時采用“標量+向量”的查詢方式,支持全內(nèi)存索引,最高支持每秒百萬的查詢量(QPS);
在計算層,AI Native開發(fā)范式能實現(xiàn)全量數(shù)據(jù)AI計算,一站式解決企業(yè)在搭建私域知識庫時的文本切分(segment)、向量化(embedding)等難題;
在存儲層,騰訊云向量數(shù)據(jù)庫支持數(shù)據(jù)智能存儲分布,助力企業(yè)存儲成本降低50%。
為了推進向量數(shù)據(jù)庫在企業(yè)的大規(guī)模應用,騰訊云針對企業(yè)的普遍訴求,第一時間聯(lián)合合作伙伴推出了一個端到端的向量數(shù)據(jù)庫解決方案,從文本的智能化分割,幫助客戶選擇一個好的向量化模型,幫客戶建立一個合適的索引,通過智能化排序產(chǎn)生端到端,通過開源等方法把端到端的召回率提高20%。通過這樣的方式,大幅縮短數(shù)據(jù)介入AI的時間。
統(tǒng)計顯示,將騰訊云向量數(shù)據(jù)庫用于大模型預訓練數(shù)據(jù)的分類、去重和清洗相比傳統(tǒng)方式可以實現(xiàn)10倍效率的提升,如果將向量數(shù)據(jù)庫作為外部知識庫用于模型推理,則可以將成本降低2-4個數(shù)量級。
“對于開發(fā)者,未來五年或是十年,程序員不是消失了,而是每個人都是程序員,每個人都可以把自己的數(shù)據(jù)用向量數(shù)據(jù)庫管理起來。”羅云表示。
﹀
﹀
﹀
降低用戶使用門檻,向量數(shù)據(jù)庫與大模型聯(lián)合開發(fā)產(chǎn)生“飛輪效應”
↓↓點擊閱讀原文,了解更多優(yōu)惠
