Vald分布式矢量搜索引擎

Vald 是一個高度可擴展的分布式快速近似近鄰密集矢量搜索引擎。

Vald 是基于 Cloud-Native 架構(gòu)設(shè)計和實現(xiàn)的。它使用最快的 ANN 算法 NGT 來搜索 neighbors。Vald 具有自動矢量索引和索引備份，以及從數(shù)十億特征矢量數(shù)據(jù)中進行搜索的水平縮放。Vald 易于使用、功能豐富且可根據(jù)您的需要高度定制。

主要特點

• 異步自動索引

  • 通常圖形在索引期間需要鎖定，這會導(dǎo)致停止世界。但是 Vald 使用分布式索引圖，因此它在索引期間繼續(xù)工作。

• 可定制的入口/出口過濾

  • Vald 實現(xiàn)了它自己的高度可定制的入口/出口過濾器。
  • 可以配置為適合 gRPC 接口。
    • 入口過濾器：能夠根據(jù)要求通過過濾器進行矢量化。
    • 出口過濾器：使用您自己的算法重新排列或過濾搜索結(jié)果。

• 基于云原生的矢量搜索引擎

  • 可根據(jù)您的需求在內(nèi)存和 CPU 上進行橫向擴展。

• 索引數(shù)據(jù)自動備份

  • Vald 具有使用 MySQL 或 Cassandra 存儲索引數(shù)據(jù)備份的功能，可實現(xiàn)災(zāi)難恢復(fù)。

• 分布式索引

  • Vald 將向量索引分發(fā)給多個代理，每個代理存儲不同的索引。

• 索引復(fù)制

  • Vald 將每個索引存儲在啟用索引副本的多個代理中。
  • 當(dāng)某些 Vald 代理出現(xiàn)故障時自動重新平衡副本。

• 使用方便

  • Vald 可以通過幾個步驟輕松安裝。

• 高度可定制

  • 您可以配置向量維數(shù)、副本數(shù)等。

• 支持多語言

  • 支持 Go、Java、Clojure、Node.js 和 Python 客戶端庫。
  • gRPC API 可以由任何支持 gRPC 的編程語言觸發(fā)。
  • 還支持 REST API。

要求

• Kubernetes 1.17~
• AVX2 指令（Vald Agent NGT 需要）