QA導讀：大數(shù)據(jù)時代已經(jīng)到來。目前大數(shù)據(jù)的應用十分廣泛，已滲透到各行各業(yè)，如電信、教育、金融、醫(yī)療等，對人類社會和生產(chǎn)有著重大而深遠的影響。為了搶占大數(shù)據(jù)時代的戰(zhàn)略機遇，眾多企業(yè)都在積極地做數(shù)字化轉(zhuǎn)型升級。作為測試的你或者想要轉(zhuǎn)型大數(shù)據(jù)測試的你，要有哪些技能呢？要如何通過大數(shù)據(jù)測試來保障應用質(zhì)量呢？

大數(shù)據(jù)測試解讀

????對于傳統(tǒng)軟件、互聯(lián)網(wǎng)產(chǎn)品的測試，測試方法及質(zhì)量體系是相對成熟的。而大數(shù)據(jù)測試尚處于較新的階段，且大數(shù)據(jù)應用常常與機器學習技術(shù)緊密聯(lián)系，該領(lǐng)域里也鮮有完整的大數(shù)據(jù)質(zhì)量體系可供借鑒。

什么是大數(shù)據(jù)測試？

????大數(shù)據(jù)測試，通常是對采用大數(shù)據(jù)技術(shù)的系統(tǒng)或應用的測試。它可以分成兩個維度，一個是數(shù)據(jù)的測試，另一個是大數(shù)據(jù)系統(tǒng)或應用產(chǎn)品的測試。

????數(shù)據(jù)的測試主要關(guān)注數(shù)據(jù)的完整性、準確性、一致性等，是大數(shù)據(jù)測試中非常重要的一環(huán)。若數(shù)據(jù)測試不夠嚴格，則后續(xù)所有的數(shù)據(jù)應用都可能出現(xiàn)偏差甚至錯誤，所以做好數(shù)據(jù)測試很關(guān)鍵。

????大數(shù)據(jù)系統(tǒng)一般指使用Hadoop生態(tài)系統(tǒng)組件搭建的或自主研發(fā)的大數(shù)據(jù)系統(tǒng)。自主研發(fā)的大數(shù)據(jù)系統(tǒng)主要包括數(shù)據(jù)存儲、計算、分析等應用。大數(shù)據(jù)應用產(chǎn)品比較豐富，典型的有BI報表、數(shù)據(jù)挖掘產(chǎn)品、數(shù)據(jù)分析平臺等。

????大數(shù)據(jù)測試與傳統(tǒng)數(shù)據(jù)測試在數(shù)據(jù)量級、數(shù)據(jù)結(jié)構(gòu)、驗證工作及環(huán)境要求等多方面存在差異。

大數(shù)據(jù)測試流程

????大數(shù)據(jù)測試流程與傳統(tǒng)測試流程相似，主要分為以下幾個步驟：

????在大數(shù)據(jù)測試中，我們需要以流程規(guī)范為依托，以方法策略為指引，對各個環(huán)節(jié)做好質(zhì)量把控，提前發(fā)現(xiàn)問題，保證項目的正常交付及應用。

大數(shù)據(jù)測試類型及方法

????大數(shù)據(jù)測試類型及方法雖廣泛，主要關(guān)注的還是以下幾個方面：

數(shù)據(jù)質(zhì)量測試

完整性，數(shù)據(jù)信息是否存在缺失的情況。
一致性，數(shù)據(jù)是否遵循了統(tǒng)一的規(guī)范，數(shù)據(jù)之間的邏輯關(guān)系是否正確和完整。
準確性，數(shù)據(jù)記錄的信息是否存在異常或錯誤。
唯一性，數(shù)據(jù)是唯一不重復的。
及時性，數(shù)據(jù)從產(chǎn)生到可以查看的時間間隔，也稱數(shù)據(jù)的延時時長。
合法性，數(shù)據(jù)的格式、類型、值域和業(yè)務(wù)規(guī)則是否符合用戶的定義。

功能測試

性能測試

ETL測試

??? ETL測試是一個以數(shù)據(jù)為中心的測試過程，用于驗證數(shù)據(jù)是否已按預期方式轉(zhuǎn)換并加載到目標中。在實際工作中，我們經(jīng)常需要根據(jù)不同的業(yè)務(wù)需求定制不同的數(shù)據(jù)，如何驗證提供的業(yè)務(wù)數(shù)據(jù)最終的正確性，這就涉及ETL測試。

????關(guān)于ETL測試的詳解（如場景、方法及工具等），是艾輝老師分享的重點章節(jié)，敬請期待。

如何學習大數(shù)據(jù)測試

????大數(shù)據(jù)應用系統(tǒng)龐大復雜，此類項目測試時涉及多種工具、技術(shù)和框架。為保障大數(shù)據(jù)項目在通過測試后，可以穩(wěn)定、安全、無誤地運行，大數(shù)據(jù)測試工程師必須掌握數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)計算和分析、數(shù)據(jù)管理調(diào)度、數(shù)據(jù)測試方法及方案設(shè)計、數(shù)據(jù)測試平臺建設(shè)等必備知識及其他各類軟硬素質(zhì)。入門學習大數(shù)據(jù)測試，建議按照下圖的路線進行：

計算機基礎(chǔ)知識

如數(shù)據(jù)結(jié)構(gòu)與算法、計算機網(wǎng)絡(luò)、Linux、數(shù)據(jù)庫、代碼版本管理工具等。

至少掌握一門編程語言

如Python、Java、Scala、Go等。

大數(shù)據(jù)技術(shù)

如大數(shù)據(jù)發(fā)展、大數(shù)據(jù)類項目流程、大數(shù)據(jù)處理流程、大數(shù)據(jù)生態(tài)系統(tǒng)（HDFS、MapReduce、Hive、YARN、Zookeeper、Kafka、Flink、Spark、HBase、Azkaban等）。

大數(shù)據(jù)測試技術(shù)

如大數(shù)據(jù)測試方法論、大數(shù)據(jù)測試工具、大數(shù)據(jù)測試技能。推薦學習資源，如《大數(shù)據(jù)測試技術(shù)與實踐》。

其他軟技能

如具備較強的思維能力、良好的溝通能力、問題分析定位能力、責任心及好奇心等。

持續(xù)學習

如具備掌握技術(shù)前沿趨勢、洞察及學習新技術(shù)及知識的能力。

如果這篇文章對你有所幫助，或者有所啟發(fā)的話，幫忙點贊、在看、轉(zhuǎn)發(fā)、收藏，你的支持就是我堅持下去的最大動力！

大數(shù)據(jù)測試，測試手段有哪些？該如何測？