Greenplum DB大規(guī)模并行處理系統(tǒng)
Greenplum 之前屬于Pivotal，是一家總部位于美國加利福尼亞州，為全球大型企業(yè)用戶提供新型企業(yè)級數(shù)據(jù)倉庫(EDW)、企業(yè)級數(shù)據(jù)云(EDC)和商務(wù)智能(BI)提供解決方案和咨詢服務(wù)的公司。目前 Greenplum 已經(jīng)歸屬 VMware。
Greenplum 數(shù)據(jù)庫 (gpdb)號稱是世界上第一個(gè)開源的大規(guī)模并行數(shù)據(jù)倉庫，2019年，Greenplum被Gartner評為全球排名第三的分析型數(shù)據(jù)庫和排名第四的實(shí)時(shí)分析數(shù)據(jù)庫。
Greenplum基于MPP（大規(guī)模并行處理）架構(gòu)，最初是基于 PostgreSQL，現(xiàn)在已經(jīng)添加了大量數(shù)據(jù)庫方面的創(chuàng)新。Greenplum 提供 PB 級別數(shù)據(jù)量的強(qiáng)大和快速分析能力，特別是面向大數(shù)據(jù)方面的分析能力，支持大數(shù)據(jù)的超高性能分析查詢。Greenplum內(nèi)置并行存儲(chǔ)、并行通訊、并行計(jì)算和優(yōu)化技術(shù)，支持持?jǐn)U展（Extension）、自定義類型和函數(shù)、PXF和外部表技術(shù)。
Greenplum 主要特性：
-
大規(guī)模并行處理架構(gòu)
-
高性能加載，使用 MPP 技術(shù)，提供 Petabyte 級別數(shù)據(jù)量的加載性能
-
大數(shù)據(jù)工作流查詢優(yōu)化
-
多態(tài)數(shù)據(jù)存儲(chǔ)和執(zhí)行
-
支持多種數(shù)據(jù)格式，包括結(jié)構(gòu)化、半結(jié)構(gòu)化（XML、JSON、KV）和非結(jié)構(gòu)化（文本數(shù)據(jù)、GIS數(shù)據(jù)、圖數(shù)據(jù)等）
-
支持SQL、JDBC和ODBC等行業(yè)標(biāo)準(zhǔn)
-
支持商業(yè)智能（BI）、文本、GIS、圖像、流式數(shù)據(jù)處理等
-
基于 Apache MADLib 的高級機(jī)器學(xué)習(xí)功能
-
HTAP能力，支持涵蓋OLTP型業(yè)務(wù)的混合負(fù)載
Greenplum 采用 Apache 協(xié)議開源之后，加上之前的 HAWQ，PostgreSQL 以及 PostGIS，完全可以構(gòu)建一體化的 PostgreSQL 企業(yè)數(shù)據(jù)架構(gòu)。
Greenplum的架構(gòu)采用了MPP(大規(guī)模并行處理)。在 MPP 系統(tǒng)中，每個(gè) SMP 節(jié)點(diǎn)也可以運(yùn)行自己的操作系統(tǒng)、數(shù)據(jù)庫等。換言之，每個(gè)節(jié)點(diǎn)內(nèi)的 CPU 不能訪問另一個(gè)節(jié)點(diǎn)的內(nèi)存。節(jié)點(diǎn)之間的信息交互是通過節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)的，這個(gè)過程一般稱為數(shù)據(jù)重分配(Data Redistribution) 。與傳統(tǒng)的SMP架構(gòu)明顯不同，通常情況下，MPP系統(tǒng)因?yàn)橐诓煌幚韱卧g傳送信息，所以它的效率要比SMP要差一點(diǎn)，但是這也不是絕對的，因?yàn)?MPP系統(tǒng)不共享資源，因此對它而言，資源比SMP要多，當(dāng)需要處理的事務(wù)達(dá)到一定規(guī)模時(shí)，MPP的效率要比SMP好。這就是看通信時(shí)間占用計(jì)算時(shí)間的比例而定，如果通信時(shí)間比較多，那MPP系統(tǒng)就不占優(yōu)勢了，相反，如果通信時(shí)間比較少，那MPP系統(tǒng)可以充分發(fā)揮資源的優(yōu)勢，達(dá)到高效率。當(dāng)前使用的 OTLP程序中，用戶訪問一個(gè)中心數(shù)據(jù)庫，如果采用SMP系統(tǒng)結(jié)構(gòu)，它的效率要比采用MPP結(jié)構(gòu)要快得多。而MPP系統(tǒng)在決策支持和數(shù)據(jù)挖掘方面顯示了優(yōu)勢，可以這樣說，如果操作相互之間沒有什么關(guān)系，處理單元之間需要進(jìn)行的通信比較少，那采用MPP系統(tǒng)就要好，相反就不合適了。