好吧，Uber 不使用 Elasticsearch，自己用 Go 造了個(gè)輪子

之前推薦了一個(gè) Uber 的開(kāi)源項(xiàng)目 Kraken，今天推薦它的另一個(gè)開(kāi)源項(xiàng)目，也是 Go 語(yǔ)言實(shí)現(xiàn)的。

項(xiàng)目名稱(chēng)：AresDB，地址：https://github.com/uber/aresdb，Star 數(shù)：2.5k+。

這是一個(gè)由 GPU 驅(qū)動(dòng)的實(shí)時(shí)分析存儲(chǔ)和查詢(xún)引擎。為什么開(kāi)發(fā) AresDB？Uber 在官方博客上給出了解答：https://eng.uber.com/aresdb/

官方的說(shuō)法

在 Uber，實(shí)時(shí)分析使我們能夠獲得業(yè)務(wù)情況和運(yùn)營(yíng)效率，使我們能夠做出以數(shù)據(jù)為依據(jù)的決策，以改善在 Uber 平臺(tái)上的體驗(yàn)。例如，我們的運(yùn)營(yíng)團(tuán)隊(duì)依靠數(shù)據(jù)來(lái)監(jiān)控市場(chǎng)健康狀況并在我們的平臺(tái)上發(fā)現(xiàn)潛在問(wèn)題；由機(jī)器學(xué)習(xí)模型提供支持的軟件利用數(shù)據(jù)來(lái)預(yù)測(cè)騎手供應(yīng)和司機(jī)需求；數(shù)據(jù)科學(xué)家使用數(shù)據(jù)來(lái)改進(jìn)機(jī)器學(xué)習(xí)模型，以更好地進(jìn)行預(yù)測(cè)。

過(guò)去，我們利用許多第三方數(shù)據(jù)庫(kù)解決方案進(jìn)行實(shí)時(shí)分析，但沒(méi)有一個(gè)能夠同時(shí)滿(mǎn)足我們所有的功能，可伸縮性，性能，成本和運(yùn)營(yíng)要求。

AresDB 于 2018 年 11 月發(fā)布，是一個(gè)開(kāi)源的實(shí)時(shí)分析引擎，它利用非常規(guī)電源，圖形處理單元（GPU）來(lái)使我們的分析規(guī)?；鲩L(zhǎng)。GPU 技術(shù)是實(shí)時(shí)分析的新興工具，多年來(lái)發(fā)展顯著，使其非常適合并行進(jìn)行實(shí)時(shí)計(jì)算和數(shù)據(jù)處理。

Uber 實(shí)時(shí)分析解決的最常見(jiàn)問(wèn)題是如何計(jì)算時(shí)間序列匯總，這些計(jì)算使我們能夠洞悉用戶(hù)體驗(yàn)，從而可以相應(yīng)地改善服務(wù)。通過(guò)這些計(jì)算，我們可以在任意過(guò)濾（或有時(shí)加入）的數(shù)據(jù)范圍內(nèi)，按特定維度（例如，日期，小時(shí)，城市 ID 和旅行狀態(tài)）請(qǐng)求度量。多年來(lái)，Uber 部署了多種解決方案以不同方式解決此問(wèn)題。

我們用于解決此類(lèi)問(wèn)題的第三方解決方案包括：Apache Pinot 和 Elasticsearch。

盡管這些技術(shù)各有千秋，但它們對(duì)于我們的用例卻缺乏關(guān)鍵的功能。我們需要一個(gè)統(tǒng)一，簡(jiǎn)化和優(yōu)化的解決方案，并且要開(kāi)箱即用（或者更確切地說(shuō)是在 GPU 內(nèi)）。

（哈哈哈，是不是再次證明，自己的輪子又大又圓？）

要求

該項(xiàng)目使用了如下技術(shù)：

• golang 1.11+
• C++ compiler that support c++14
• cmake 3.12+
• nvcc version 9.1

該項(xiàng)目的查詢(xún)引擎使用 C++ 實(shí)現(xiàn)的，而內(nèi)存存儲(chǔ)，磁盤(pán)存儲(chǔ)和其他查詢(xún)組件使用 Go 實(shí)現(xiàn)的。因此這是一個(gè)多語(yǔ)言項(xiàng)目。同時(shí)因?yàn)樯婕暗?GPU 等技術(shù)，因此搞定這個(gè)項(xiàng)目需要一定的實(shí)力。

最后放一張架構(gòu)圖：