螞蟻全球化無線端質(zhì)量解決方案

阿里QA導(dǎo)讀:螞蟻國際全球化業(yè)務(wù)場(chǎng)景多,面臨多語言,多幣種,多時(shí)區(qū),復(fù)雜網(wǎng)絡(luò)環(huán)境,以及本地化測(cè)試,本地監(jiān)管合規(guī)等挑戰(zhàn),同時(shí)技術(shù)形態(tài)也是多種多樣的。如何針對(duì)全球化業(yè)務(wù)搭建質(zhì)量解決方案,成為螞蟻國際質(zhì)量團(tuán)隊(duì)同學(xué)的重要課題。
業(yè)務(wù)場(chǎng)景非常多,包含自營(yíng)業(yè)務(wù)和海外站點(diǎn)錢包業(yè)務(wù)等,涉及全球游,全球匯款,電商支付,錢包充轉(zhuǎn)提等支付場(chǎng)景,森林 & 寵物等互動(dòng)類公益活動(dòng);
國際化挑戰(zhàn)非常大,面臨多語種,多幣種,多時(shí)區(qū),復(fù)雜網(wǎng)絡(luò)環(huán)境,本地化測(cè)試,本地監(jiān)管合規(guī)等挑戰(zhàn);
技術(shù)形態(tài)非常廣,有獨(dú)立 APP,SDK,組件,動(dòng)態(tài)化模板,H5,小程序等 ...
????????面臨業(yè)務(wù)和技術(shù)如此多的困難挑戰(zhàn),經(jīng)過多年深耕和持續(xù)打磨,我們沉淀了國際無線端質(zhì)量解決方案 —— “夯實(shí)一個(gè)底盤,打透兩個(gè)能力,強(qiáng)化 CI/CT/CD 流水線,打造全球小程序生態(tài)質(zhì)量保障體系,建設(shè)下一代智能化測(cè)試體系”。
????????面對(duì)全球化過程中各業(yè)務(wù)線缺失缺少手機(jī)號(hào) & 銀行卡 & 測(cè)試賬號(hào)等資源痛點(diǎn),我們建設(shè)了全球化資源平臺(tái);

下面,將從以上五個(gè)維度分別進(jìn)行詳細(xì)介紹。
????【無線端質(zhì)量解決方案的支柱】
1)海外真機(jī)實(shí)驗(yàn)室能力
????????線下租用、遠(yuǎn)程調(diào)試、多機(jī)適配、設(shè)備智能調(diào)度,覆蓋全球熱門機(jī)型,百臺(tái)海外真機(jī)時(shí)刻待命。
解決方案
????????海外真機(jī)實(shí)驗(yàn)室作為無線質(zhì)量產(chǎn)品能力技術(shù)底盤,承載無線所有支撐業(yè)務(wù),平臺(tái)需要具備高可用、可伸縮、輕量化、組件化等能力。整個(gè)方案基于開源的 ATX、WDA 實(shí)現(xiàn)設(shè)備操作執(zhí)行,基于 OpenSTF 實(shí)現(xiàn)遠(yuǎn)程控制方案,具備任務(wù)調(diào)度、資源監(jiān)控、故障自愈、多機(jī)并行的能力。

進(jìn)展與成果
????????本財(cái)年,海外真機(jī)實(shí)驗(yàn)室重點(diǎn)抓住小程序生態(tài)建設(shè)、機(jī)房設(shè)備建設(shè)和穩(wěn)定性提升維護(hù)三個(gè)要點(diǎn),目前已建成上海真機(jī)實(shí)驗(yàn)室機(jī)房、杭州打包機(jī)集群、海外公網(wǎng)服務(wù),保證 99%+ 整體穩(wěn)定性,支撐包括小程序生態(tài)在內(nèi)的多項(xiàng)業(yè)務(wù)。
目前,真機(jī)實(shí)驗(yàn)室現(xiàn)有設(shè)備規(guī)模超百臺(tái),?支撐每周超過萬次小程序質(zhì)量審核管控、國際小程序巡檢、移動(dòng)端功能 UI 自動(dòng)化運(yùn)行 & 智能深度遍歷自動(dòng)化和各項(xiàng)專項(xiàng)測(cè)試等任務(wù),同時(shí)對(duì)外提供設(shè)備租用、遠(yuǎn)程調(diào)試等能力,并完成產(chǎn)品在 Dana、TnGD、Gcash 等多個(gè)海外合作伙伴當(dāng)?shù)氐牟渴鸷褪褂觅x能。

2 )機(jī)器視覺能力
????????自研機(jī)器視覺能力, 支持多種場(chǎng)景文字識(shí)別、圖標(biāo)識(shí)別、圖像聚類、缺陷檢測(cè)算法以及在線實(shí)時(shí)訓(xùn)練。
解決方案
????????重點(diǎn)著眼國際無線業(yè)務(wù),支撐并助力上層無線端智能化測(cè)試和缺陷發(fā)現(xiàn)能力,現(xiàn)已賦能經(jīng)濟(jì)體多個(gè) BU 及 海外合作團(tuán)隊(duì)。

進(jìn)展與成果
????????目前機(jī)器視覺方面已建成基于多種神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別、圖像聚類、場(chǎng)景識(shí)別、小 icon 打標(biāo)、白屏檢測(cè)等多項(xiàng)能力,目前經(jīng)濟(jì)體已有多個(gè) BU 接入了機(jī)器視覺能力,累計(jì)調(diào)用超過億次,目前日均調(diào)用量幾十萬次。
本財(cái)年,我們對(duì)機(jī)器視覺能力進(jìn)行了進(jìn)一步的豐富和升級(jí),進(jìn)行了多個(gè)圖像智能算法的落地:我們基于全新的 OCR 模型數(shù)據(jù)集和在無線業(yè)務(wù)中長(zhǎng)期積累的大量私有數(shù)據(jù)集,對(duì)原有圖像文本識(shí)別算法進(jìn)行了全面升級(jí),模型準(zhǔn)確性獲得很大提升,在簡(jiǎn)體中文、繁體中文和英文識(shí)別上精準(zhǔn)度超過 99%,并良好支持空格、段落、文本旋轉(zhuǎn)等文本形式和全比例圖像尺寸,在無線業(yè)務(wù)中完美適配異形屏、長(zhǎng)截屏、文本旋轉(zhuǎn)和變形,8 月下旬正式上線以來新版本圖像識(shí)別能力累計(jì)調(diào)用幾十萬次,落地螞蟻國際無線、集團(tuán)AE業(yè)務(wù)。
????????此外,我們基于特征模型和無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)了圖像智能聚類算法,并完成持續(xù)學(xué)習(xí)和模型迭代升級(jí)機(jī)制,目前模型綜合 F1 值達(dá)到 0.97,在小程序線上日常巡檢與智能深度遍歷測(cè)試中落地,基于聚類檢查離群異常圖片,快速發(fā)現(xiàn)兼容性問題和基線問題,提升缺陷發(fā)現(xiàn)能力和測(cè)試效能。
2. 強(qiáng)化 CI/CT/CD 流水線
【測(cè)試左移,與研發(fā)一起看守質(zhì)量】
?????????一站式打包構(gòu)建解決方案,持續(xù)集成、持續(xù)構(gòu)建、持續(xù)掃描、持續(xù)測(cè)試。
解決方案
????????自建 jenkins 集群、sonar 掃描平臺(tái)、真機(jī)實(shí)驗(yàn)室和精準(zhǔn)測(cè)試等多個(gè)平臺(tái)無縫對(duì)接,基于 commit 監(jiān)控和定時(shí)任務(wù)等機(jī)制自動(dòng)發(fā)起流水線執(zhí)行,進(jìn)行編譯、單元測(cè)試、靜態(tài)代碼掃碼、打包、UI 自動(dòng)化測(cè)試、兼容性測(cè)試和安全測(cè)試等階段驗(yàn)證,同時(shí)打通一站式持續(xù)交付能力,高頻運(yùn)行,持續(xù)集成,持續(xù)測(cè)試等。

進(jìn)展與成果
國際持續(xù)集成流水線產(chǎn)品能力已在無線自研產(chǎn)品/業(yè)務(wù)/組件中臺(tái)等不同團(tuán)隊(duì)全面落地應(yīng)用并在 Dana、TNGD、GCASH 當(dāng)?shù)夭渴鹗褂?,賦能海外合作伙伴。目前螞蟻國際已接入百級(jí)別項(xiàng)目,周平均任務(wù)超過千個(gè),實(shí)現(xiàn) CI/CT/CD 能力。

3.打造全球小程序生態(tài)質(zhì)量保障體系
【無線質(zhì)量產(chǎn)品能力體系與新技術(shù)形態(tài)】
????????借鑒支付寶國內(nèi)小程序生態(tài)質(zhì)量保障思路,復(fù)用部分能力,建設(shè)國際生態(tài)小程序質(zhì)量保障能力,包括上傳持續(xù)構(gòu)建、上架質(zhì)量審核、發(fā)布后智能巡檢。小程序生態(tài)質(zhì)量的全方位保證,覆蓋安全、性能、合規(guī)、穩(wěn)定性、包大小等多個(gè)重點(diǎn)指標(biāo)。
解決方案
在小程序的開發(fā)者開發(fā)完小程序并提交審核后,短時(shí)間就需要上線,對(duì)于平臺(tái)的質(zhì)量團(tuán)隊(duì)來說,需要確保上線的小程序滿足性能穩(wěn)定性的要求,同時(shí)滿足代碼安全和內(nèi)容安全的要求,為此,生態(tài)質(zhì)量中心在三個(gè)階段提供配套進(jìn)行質(zhì)量保證:
研發(fā)階段,進(jìn)行持續(xù)構(gòu)建:對(duì)開發(fā)者對(duì)小程序打包上傳行為進(jìn)行持續(xù)構(gòu)建并觸發(fā)審核流程,提前發(fā)現(xiàn)問題并上報(bào)給開發(fā)者,避免在小程序等待發(fā)布階段才暴露問題,實(shí)現(xiàn)測(cè)試左移;
交付階段,進(jìn)行準(zhǔn)入審核質(zhì)量管控:質(zhì)量準(zhǔn)入是小程序質(zhì)量保障的重要一環(huán),國際小程序質(zhì)量管控會(huì)使用性能穩(wěn)定性、靜態(tài)代碼掃描、代碼安全、內(nèi)容安全等能力進(jìn)行小程序準(zhǔn)入審核;
發(fā)布階段,進(jìn)行線上巡檢:使用了一站式智能化測(cè)試中的智能深度遍歷測(cè)試能力作為巡檢引擎,當(dāng)小程序在平臺(tái)上上線后,觸發(fā)巡檢任務(wù)創(chuàng)建,發(fā)現(xiàn)問題觸達(dá)用戶。

進(jìn)展與成果
本財(cái)年小程序質(zhì)量配套上線正常運(yùn)行,共接入多個(gè)站點(diǎn)使用,小程序發(fā)布質(zhì)量管控作為第一道防線,當(dāng)前已經(jīng)進(jìn)行審核數(shù)千次,共計(jì)發(fā)現(xiàn)問題數(shù)百個(gè)問題,小程序線上日常巡檢作為第二道防線,累計(jì)接入幾百個(gè)個(gè)小程序執(zhí)行巡檢數(shù)萬次,線上異常識(shí)別幾十處。
【端智能化主體,測(cè)試體系提效的核心】
????????基于深度學(xué)習(xí)的一站式移動(dòng)端智能化測(cè)試,經(jīng)濟(jì)體首批 L3 級(jí)別智能化產(chǎn)品,持續(xù)提升測(cè)試效率。
????????基于AI圖文識(shí)別技術(shù)的 UI 智測(cè)框架 —— Smatch
????????為了解決 UI 自動(dòng)化用例維護(hù)成本高的痛點(diǎn),助力螞蟻國際賦能站點(diǎn),使海外合作伙伴能低門檻地實(shí)現(xiàn)自動(dòng)化,我們提供了基于 AI 圖文識(shí)別技術(shù)的 UI 智測(cè)框架 —— Smatch,基于類自然語言的輸入進(jìn)行自動(dòng)化用例的描述,基于機(jī)器視覺的能力和底層引擎驅(qū)動(dòng)完成用例的執(zhí)行。


????????基于深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的智能深度遍歷測(cè)試框架 —— Smartbot
????????以 Smatch 為基礎(chǔ),我們對(duì)智能測(cè)試的下一步進(jìn)行思考,更高級(jí)的智能測(cè)試應(yīng)具備無人工介入、高度業(yè)務(wù)覆蓋、自動(dòng)發(fā)現(xiàn)缺陷的能力,為此我們研發(fā)了 Smartbot —— 基于深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的智能深度遍歷測(cè)試框架,自動(dòng)識(shí)別場(chǎng)景,構(gòu)建測(cè)試意圖,從而達(dá)到對(duì)業(yè)務(wù)的高度覆蓋,高效多端執(zhí)行,并借助異常檢測(cè)和定位的能力,以完成缺陷和問題的快速自動(dòng)發(fā)現(xiàn)。

進(jìn)展與成果
????????一站式智能化測(cè)試基于智能化能力、真機(jī)實(shí)驗(yàn)室、雷達(dá)線上線下監(jiān)控完成移動(dòng)端測(cè)試,數(shù)倍提升效能,實(shí)現(xiàn)小時(shí)級(jí)回歸,助力業(yè)務(wù)。
同時(shí)也降低了技術(shù)賦能門檻(無須開發(fā)語言門檻,適合賦能輸出全球當(dāng)?shù)鼗锇椋鉀Q了痛難點(diǎn)(跨平臺(tái)差異,非標(biāo)控件獲取困難等),數(shù)倍提高開發(fā)維護(hù)效率,也提供 WebIDE 在線用例編寫,基于云真機(jī)的進(jìn)一步效能提升;
本財(cái)年,我們重點(diǎn)對(duì)智能深度遍歷測(cè)試的算法模型進(jìn)行了升級(jí),在原有推薦算法和強(qiáng)化學(xué)習(xí)的基礎(chǔ)上,基于分析和調(diào)研集成落地了基于特征算法和時(shí)間序列預(yù)測(cè)算法的全新算法模型,無效操作根部剪枝并添加交互序列信息感知,在 40 分鐘典型測(cè)試場(chǎng)景下,平均 APP?頁面覆蓋提升是原有模型覆蓋的 2.3 倍。目前一站式智能化測(cè)試服務(wù)經(jīng)濟(jì)體多個(gè) BU,累計(jì)接入移動(dòng)端應(yīng)用幾十個(gè)。
5.全球化資源平臺(tái)
【全球化資源痛點(diǎn)解決方案】
????????全球化快速發(fā)展的道路上,經(jīng)濟(jì)體各個(gè) BU 面臨全球化測(cè)試資源(測(cè)試設(shè)備 & 手機(jī)號(hào) & 銀行卡 & 三方支付賬號(hào) & 各應(yīng)用登錄賬密)匱乏痛點(diǎn)問題,導(dǎo)致不能進(jìn)行線上測(cè)試和驗(yàn)證;我們重點(diǎn)建設(shè)了全球化測(cè)試資源共享和統(tǒng)一管理使用平臺(tái)。
解決方案
????????全球化資源管理平臺(tái),統(tǒng)一維護(hù)和共享使用測(cè)試資源,實(shí)現(xiàn)一體化資產(chǎn)借還、需求管理、預(yù)算管理等功能,同時(shí)我們對(duì)外提供在線海外短信服務(wù),為三方商戶提供安全便捷獨(dú)立的短信平臺(tái)。
進(jìn)展與成果
????????全球資源池已支持手機(jī)號(hào)、銀行卡、支付賬號(hào)、測(cè)試賬號(hào)、云測(cè)真機(jī)多種資源,用戶注冊(cè)覆蓋經(jīng)濟(jì)體幾十個(gè) BU,提供資源使用數(shù)百次,持續(xù)運(yùn)營(yíng)中;

在線海外短信服務(wù)功能正式上架,協(xié)同行業(yè)集成方案團(tuán)隊(duì)資源,將支持多個(gè)服務(wù)站點(diǎn)近百張 SIM 卡,持續(xù)建設(shè)中。

結(jié)束語
接下來我們會(huì)持續(xù)深耕,打磨我們的端質(zhì)量產(chǎn)品能力,持續(xù)技術(shù)創(chuàng)新突破,不斷夯實(shí)技術(shù)質(zhì)量底盤,深化小程序生態(tài)質(zhì)量保障體系,強(qiáng)化下一代智能化測(cè)試體系,為國際業(yè)務(wù)質(zhì)量保駕護(hù)航。
歡迎有興趣的同學(xué)加入我們團(tuán)隊(duì),誠招移動(dòng)端測(cè)試開發(fā)工程師,服務(wù)端測(cè)試開發(fā)工程師,工程效能&算法工程師:
微信:chenghuai20160517
