大數(shù)據(jù)性能測試介紹

大數(shù)據(jù)性能測試的目的

1.大數(shù)據(jù)組件的性能回歸，在版本升級的時(shí)候，進(jìn)行新舊版本的性能比對

2.在新版本/新的生產(chǎn)環(huán)境 發(fā)布之后獲取性能基線，建立可度量的參考標(biāo)準(zhǔn)，為其他測試場景或者調(diào)優(yōu)過程提供對比參考

3.在眾多的發(fā)行版本中進(jìn)行測試比對，為PoC測試提供參考數(shù)據(jù)

4.支持POC測試，得出結(jié)論，到時(shí)候可以根據(jù)業(yè)務(wù)模型和需求，或者根據(jù)客戶需求 選擇不同的方案

5.在客戶方進(jìn)行性能測試，達(dá)到客戶要求的性能標(biāo)準(zhǔn)滿足客戶使用的需求。

性能測試的時(shí)機(jī)

1.上線新版本

2.上線新的環(huán)境/新的主機(jī)

3.開辟了新的區(qū)域

4.PoC 測試

5.性能專項(xiàng)測試

性能測試的步驟

1.明確測試的目標(biāo)

確定性能測試場景，集群規(guī)模和規(guī)格，數(shù)據(jù)量，數(shù)據(jù)格式，壓縮算法等。比如版本迭代測試，需要和歷史版本集群規(guī)格和參數(shù)對齊，以便比較版本性能是否劣化；Poc測試需要明確客戶場景；軟件發(fā)行商測試，需要與發(fā)行商集群規(guī)模保持一致。

2.申請主機(jī)環(huán)境和測試周期

3.搭建運(yùn)行環(huán)境和監(jiān)控

獲取的性能指標(biāo) 部分包含：性能數(shù)據(jù)，比如帶寬，磁盤IO，CPU，內(nèi)存等指標(biāo)

4.開展測試 測試過程中使用nmon或者其他系統(tǒng)監(jiān)控的工具記錄系統(tǒng)指標(biāo)變化，以供發(fā)現(xiàn)系統(tǒng)瓶頸，利于后續(xù)調(diào)優(yōu)。

5.針對性能結(jié)果進(jìn)行調(diào)整優(yōu)化，進(jìn)行迭代性能測試?

6.出具性能測試報(bào)告

大數(shù)據(jù)組件測試工具和方法

除了上述主流的大數(shù)據(jù)主鍵外還有Hbase等

除了主流的測試工具 Hibench 之外還有雅虎的大數(shù)據(jù)測試套件

https://github.com/Intel-bigdata/HiBenchhttps://github.com/elastic/rallyhttps://github.com/yahoo/streaming-benchmarkshttps://github.com/brianfrankcooper/YCSB

大數(shù)據(jù)性能調(diào)優(yōu)

1.在大數(shù)據(jù)領(lǐng)域普遍存在數(shù)據(jù)傾斜的問題，需要參考對應(yīng)組件的官方文檔

2.參考業(yè)界的案例介紹

大數(shù)據(jù)相關(guān)的測試

• 基準(zhǔn)測試 單一用戶單個(gè)事務(wù)的測試，目的是在對選擇的用戶在無壓力的情況下獲取系統(tǒng)處理單個(gè)請求的情況

• 負(fù)載測試 通過逐步增加系統(tǒng)的負(fù)載，測試系統(tǒng)性能的變化

• 穩(wěn)定性測試 通過給系統(tǒng)加載一定的業(yè)務(wù)壓力，運(yùn)行7*24 小時(shí)，以此檢測系統(tǒng)是否穩(wěn)定運(yùn)行。

• 功能測試 特別是在OLAP引擎選擇的時(shí)候，需要測試其對標(biāo)準(zhǔn)SQL支持的情況，如部門不支持update和delete操作， 不支持with語句，不支持except和intersection操作等

• 性能需求 CPU，內(nèi)存，磁盤IO，網(wǎng)絡(luò)負(fù)載使用率不超過80% 響應(yīng)時(shí)間 90%的 讀取 寫入 導(dǎo)出 導(dǎo)入 不超過 3s，有不到10%的響應(yīng)時(shí)間不超過 5s

• 測試案例 1.在不同數(shù)據(jù)量 （100G 500G 1T） 分別對Hadoop和spark 進(jìn)行讀取，數(shù)據(jù)寫入，數(shù)據(jù)導(dǎo)出 數(shù)據(jù)導(dǎo)入基準(zhǔn)測試

2.在不同數(shù)據(jù)量下進(jìn)行并行 和讀寫混合測試

3.在不同數(shù)據(jù)量下進(jìn)行 7 * 24小時(shí)的數(shù)據(jù)穩(wěn)定性測試

• 測試觀察指標(biāo)

  1.CPU 使用率 2.內(nèi)存使用率 3.IO 4.網(wǎng)絡(luò) 5.響應(yīng)時(shí)間 6.其他指標(biāo)