---

  新智元報道  

來源：VB

編輯：好困

【新智元導(dǎo)讀】AI初創(chuàng)公司Databricks在2月份10億美元的G輪融資之后，又得到了16億美元的H輪融資，估值達(dá)到380億美元。

昨日，人工智能大數(shù)據(jù)初創(chuàng)公司Databricks成功完成了16億美元的H輪融資，其估值達(dá)到了380億美元。

 

此次融資由摩根士丹利的Counterpoint Global基金牽頭，其他投資者包括AWS、Alphabet的CapitalG，以及微軟等等。

 

加上今年2月10億美元的G輪，目前Databricks融資總額達(dá)到近35億美元。

 

 

這家位于加利福尼亞州舊金山的公司，是專注于分析和人工智能的初創(chuàng)公司之一，由加州大學(xué)伯克利分校AMPLab的七名研究人員于2013年創(chuàng)立。

 

Databricks開發(fā)并維護(hù)人工智能管理平臺MLflow、數(shù)據(jù)分析工具Koalas和Delta Lake，為分析提供自動化集群管理等。

 

2020年6月，Databricks推出了一個新產(chǎn)品Delta Engine，在Delta Lake的基礎(chǔ)上進(jìn)行分層，提高了查詢性能。

 

2020年11月，Databricks又推出了Databricks SQL，讓客戶可以在數(shù)據(jù)湖上直接運行商業(yè)智能和分析報告。

 

開放統(tǒng)一的AI平臺

構(gòu)建機器學(xué)習(xí)模型很難，將模型應(yīng)用到生產(chǎn)中更難。

 

隨著時間的推移保持?jǐn)?shù)據(jù)質(zhì)量和模型的準(zhǔn)確性只是其中的一些挑戰(zhàn)。

 

Databricks的出現(xiàn)則簡化了機器學(xué)習(xí)的開發(fā)，從而實現(xiàn)大規(guī)模的數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練以及部署。

 

 

其中的Databricks ML Runtime提供了隨時可用的優(yōu)化機器學(xué)習(xí)環(huán)境，包括最流行的機器學(xué)習(xí)框架（scikit-learn、TensorFlow等）和Conda支持。

 

內(nèi)置的AutoML，如超參數(shù)調(diào)整，有助于更快地得到結(jié)果，不必再受計算能力的限制。

 

 

廣受歡迎的Lakehouse

Lakehouse結(jié)合了數(shù)據(jù)湖和數(shù)據(jù)倉庫優(yōu)勢，解決了數(shù)據(jù)湖的局限性。

 

其采用了全新的系統(tǒng)設(shè)計，可直接在數(shù)據(jù)湖使用等低成本存儲上實現(xiàn)與數(shù)據(jù)倉庫中類似的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)管理功能。

 

Databricks的首席執(zhí)行官Ali Ghodsi表示，「Lakehouse之所以成功，是因為它極大地簡化了客戶的數(shù)據(jù)平臺，支持商業(yè)智能、數(shù)據(jù)工程和人工智能」。

 

此外，企業(yè)無需在不同的系統(tǒng)之間移動數(shù)據(jù)，創(chuàng)建許多孤立的數(shù)據(jù)副本，并對組織實施大量復(fù)雜的操作。Lakehouse是讓統(tǒng)一所有數(shù)據(jù)工作負(fù)載變得簡單的關(guān)鍵。

 

 

雖然Databricks創(chuàng)造了Lakehouse這個詞，但它已然成為一個流行術(shù)語，被Dremio、AWS和Starburst等競爭者大肆宣傳。

 

此前，微軟就與Databricks達(dá)成合作，在其Azure云上提供了第一方解決方案：Azure Databricks。

 

微軟云計算和人工智能執(zhí)行副總裁Scott Guthrie表示，「Azure Databricks是一個令人印象深刻的解決方案，為我們的客戶帶來了開放、靈活和可擴展的數(shù)據(jù)和人工智能能力的最新進(jìn)展」。 

 

此外，基于Apache Spark、Delta Lake和MLflow等技術(shù)和機器學(xué)習(xí)能力，讓著數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師和軟件工程師都使用他們喜歡的編程語言直接對湖進(jìn)行文件訪問。

 

Lakehouse的核心特征

1. 事務(wù)支持 　

企業(yè)內(nèi)部許多數(shù)據(jù)管道通常會并發(fā)讀寫數(shù)據(jù)。對ACID事務(wù)的支持確保了多方并發(fā)讀寫數(shù)據(jù)時的一致性問題。

 

2. 模式執(zhí)行和治理

 

Lakehouse可以支持模式執(zhí)行和演進(jìn)、支持DW模式架構(gòu)（如星星或雪花模型），能夠?qū)?shù)據(jù)完整性進(jìn)行推理，并且具有穩(wěn)健的審計機制

 

3. BI支持

Lakehouse可以直接在源數(shù)據(jù)上使用BI工具。這樣可以減少延遲，并降低在數(shù)據(jù)池和數(shù)據(jù)倉庫中操作兩個數(shù)據(jù)副本的成本。

 

4. 存儲與計算分離

在實踐中，這意味著存儲和計算使用單獨的集群，因此這些系統(tǒng)能夠擴展到支持更大的用戶并發(fā)和數(shù)據(jù)量。

 

5. 開放性

使用的存儲格式是開放式和標(biāo)準(zhǔn)化的（如Parquet），Lakehouse提供了一個API，讓各種工具和引擎可以有效地直接訪問數(shù)據(jù)，其中就包括機器學(xué)習(xí)和Python/R庫。

 

6. 支持從非結(jié)構(gòu)化數(shù)據(jù)到結(jié)構(gòu)化數(shù)據(jù)的多種數(shù)據(jù)類型

Lakehouse可用于存儲、優(yōu)化、分析和訪問許多新數(shù)據(jù)應(yīng)用所需的數(shù)據(jù)類型，包括圖像、視頻、音頻、半結(jié)構(gòu)化數(shù)據(jù)和文本。

 

7. 支持多種工作負(fù)載

 

包括數(shù)據(jù)科學(xué)、機器學(xué)習(xí)以及SQL和分析?？赡苄枰喾N工具來支持這些工作負(fù)載，但它們底層都依賴同一數(shù)據(jù)存儲庫

 

8. 端到端流

 

實時報表是許多企業(yè)中的標(biāo)準(zhǔn)應(yīng)用。對流的支持消除了需要構(gòu)建單獨系統(tǒng)來專門用于服務(wù)實時數(shù)據(jù)應(yīng)用的需求。

 

Lakehouse是一種新的數(shù)據(jù)管理范式，它從根本上簡化了企業(yè)數(shù)據(jù)基礎(chǔ)設(shè)施，并且有望在機器學(xué)習(xí)即將顛覆每個行業(yè)的時代加速創(chuàng)新。

 

以往公司產(chǎn)品或決策過程中涉及的大多數(shù)數(shù)據(jù)都是來自操作系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，而現(xiàn)在，許多產(chǎn)品以計算機視覺和語音模型、文本挖掘等形式將AI融入其中。

目前來說，Lakehouse的性能仍可能落后于擁有多年投資和實際部署的專業(yè)系統(tǒng)（如數(shù)據(jù)倉庫）。

不過，隨著技術(shù)的不斷發(fā)展和成熟，Lakehouse可以在保留更簡單、更具成本效益的同時，為多種數(shù)據(jù)應(yīng)用的核心特性提供服務(wù)，從而將差距逐漸縮小。

參考資料：

https://venturebeat.com/2021/08/31/databricks-expands-its-data-lake-analytics-with-1-5b-funding/

https://databricks.com

https://databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html