久久亚洲综合色,综合国产,操逼视频在线看,草逼123,欧美网站在线看,久久成人91,一级特黄特色的免费大片,国产精品成人99一区无码


來源：AI前線

本文約4200字，建議閱讀10+分鐘
本文為你展示如何使用機(jī)器學(xué)習(xí)解決 Uber 的特定審計(jì)問題，以及如何擴(kuò)展方法和架構(gòu)來解決大型審計(jì)行業(yè)中的其他數(shù)據(jù)問題。

在機(jī)器學(xué)習(xí)不斷發(fā)展并改變其所涉及的各個(gè)行業(yè)之后，它才開始向?qū)徲?jì)世界提供信息。身為數(shù)據(jù)科學(xué)家和前 CPA 審計(jì)員，我能理解為什么會(huì)這樣。實(shí)質(zhì)上，審計(jì)是一個(gè)關(guān)注細(xì)節(jié)和研究任何例外的領(lǐng)域，而機(jī)器學(xué)習(xí)通常尋求寬泛的推理模式。審計(jì)關(guān)注的是歷史事件的分析，而機(jī)器學(xué)習(xí)解決方案傾向于預(yù)測未來事件。最終，大多數(shù)審計(jì)人員缺乏在工作中熟練運(yùn)用機(jī)器學(xué)習(xí)所需的教育或編程技能。接下來，我將展示我們?nèi)绾问褂脵C(jī)器學(xué)習(xí)解決 Uber 的特定審計(jì)問題，以及如何擴(kuò)展我們的方法和架構(gòu)，以解決大型審計(jì)行業(yè)中的其他數(shù)據(jù)問題。

現(xiàn)金中介（也稱“代理”）是指公司要求作為公司和其他供應(yīng)商之間的代理人的第三方供應(yīng)商。為什么公司需要這樣的中介機(jī)構(gòu)？因?yàn)槟愕钠髽I(yè)可能在某些國家經(jīng)營，而在這些國家，你所需要的產(chǎn)品和服務(wù)的一些當(dāng)?shù)毓?yīng)商無法通過你的 P2P 流程和系統(tǒng)來運(yùn)作。舉例來說，假設(shè)你想購買一批鮮花，但是花店不能通過公司的應(yīng)付賬款系統(tǒng)來處理。一個(gè)已經(jīng)成立的代理（其實(shí)是入駐公司的 P2P）將用現(xiàn)金幫助你從花店購買這批鮮花。代理隨后會(huì)把這些費(fèi)用項(xiàng)目加入到下一張賬單中（作為他們自己的服務(wù)），公司則會(huì)給代理報(bào)銷。

這個(gè)例子很簡單，也是良性的。盡管這些代理的使用本身并不違法，但這種交易如果無節(jié)制擴(kuò)散，容易帶來一些風(fēng)險(xiǎn)。例如，你如何知道花店可以合法銷售？怎樣知道鮮花的實(shí)際價(jià)格？代理向公司收取的費(fèi)用是否正確？花店和代理之間有利益相關(guān)嗎？你是利用代理的身份來避開與花店經(jīng)營者的利益沖突，還是掩蓋回扣、賄賂，或者這類費(fèi)用是不被允許的？

對(duì)于 Uber 來說，過去這些代理都是由全球各地的本地團(tuán)隊(duì)人工雇傭的，并且他們并不清楚發(fā)生了什么。由于我們已對(duì)這類案件進(jìn)行了幾次欺詐調(diào)查，我們知道有這樣的代理存在。

但是，仍然存在一些問題：我們到底有多少個(gè)供應(yīng)商被作為代理使用？這些代理用于什么樣的情況？而從地域上來看，這些代理被用在哪里，處理了多少？由于沒有確定這些代理的系統(tǒng)先例，因此我們最初尋找這些代理的方法是詢問當(dāng)?shù)貓F(tuán)隊(duì)并建立一個(gè)啟發(fā)式方法。我們隨后將理解過程轉(zhuǎn)換為 SQL。但是，事實(shí)證明，這種方法非常有限。我們認(rèn)為，代理和非代理之間的關(guān)系更為復(fù)雜，尤其是在涉及潛在特征數(shù)量方面。創(chuàng)建一個(gè)邏輯門，其數(shù)目應(yīng)等于 SQL 中每個(gè)特征的唯一組合的數(shù)目，或者從數(shù)學(xué)角度講，如下所示（其中 n 是我們的支出管理平臺(tái)中可用的特征數(shù)量），都是不可行的，所以我們假定機(jī)器學(xué)習(xí)能夠幫助解決這個(gè)問題。

再者，我們只有一小部分標(biāo)簽數(shù)據(jù)樣本（來自當(dāng)?shù)貓F(tuán)隊(duì)的確認(rèn)代理）。對(duì)于數(shù)據(jù)源，我們使用一個(gè)表格獲取數(shù)據(jù)，并將其輸入到支出管理平臺(tái)，以獲得交易類型、描述、金額、貨幣等特征。

重申一下，我們只有一小部分標(biāo)簽數(shù)據(jù)樣本（來自本地團(tuán)隊(duì)的確認(rèn)代理）。至于數(shù)據(jù)源方面，我們使用了在支出管理平臺(tái)中攝取數(shù)據(jù)的表格來獲取數(shù)據(jù)和特征，如交易類型、描述、金額、貨幣等。

接受挑戰(zhàn)

數(shù)據(jù)可用性

其中一個(gè)主要的障礙是我們沒有大量的標(biāo)簽和可用數(shù)據(jù)。根據(jù)我們最初對(duì)當(dāng)?shù)貓F(tuán)隊(duì)的調(diào)查，我們在 477 個(gè)供應(yīng)商中，有 47 個(gè)被標(biāo)記為代理。從數(shù)據(jù)科學(xué)家的角度來看，這些樣本并不足以訓(xùn)練任何模型。為增加組中的記錄數(shù)量，我們將數(shù)據(jù)集從供應(yīng)商擴(kuò)大到采購訂單。有關(guān)如何進(jìn)行此工作的信息，請(qǐng)參閱模型設(shè)計(jì)部分。

數(shù)據(jù)標(biāo)簽

標(biāo)簽主要集中在事實(shí)上是代理的供應(yīng)商上。反過來說，我們無法確認(rèn)消極標(biāo)簽是否正確。審計(jì)人員知道，除了為了確認(rèn)而增加的工作外，積極確認(rèn)（當(dāng)有人明確告訴你某事是否正確時(shí)）要好于消極確認(rèn)（當(dāng)有人被要求只在某事看起來不正確時(shí)才回復(fù)）。要解決這一問題，我們應(yīng)該在每次評(píng)估中，將召回分?jǐn)?shù)作為一個(gè)指標(biāo)，基于你面臨的業(yè)務(wù)問題，你可能需要優(yōu)先考慮其他指標(biāo)。

研究之旅

降維

在對(duì)我們分類的特征（例如貨幣和部門）進(jìn)行虛擬編碼（或者獨(dú)熱編碼）之后，我們最終得到了近 300 個(gè)特征。在這里我們可以考慮降維問題，降維通?？梢蕴岣哂?xùn)練速度，提高模型性能，或者兩者兼而有之。

采用主成分分析（Principal Component Analysis，PCA）的方法對(duì) 100 個(gè)成分進(jìn)行了分析，僅有 36% 的方差對(duì)結(jié)果進(jìn)行了解釋。由于三分之一的數(shù)據(jù)給我們的解釋方差只有三分之一多一點(diǎn)，看來我們需要使用所有的特征來捕捉整個(gè)畫面，因此我們通過模型來推出所有可用的特征。

實(shí)驗(yàn)

模型 v1 的設(shè)計(jì)與結(jié)果

在第一次迭代中，我們使用了 K- 最近鄰（KNN）。這些特征包括美元金額和四種高風(fēng)險(xiǎn)交易類型的存在。在采購訂單級(jí)別的預(yù)測中，K∈1,3,5,7,9 的準(zhǔn)確率約為 92%。在供應(yīng)商級(jí)別的預(yù)測中，達(dá)到的最高準(zhǔn)確率為 88%。作為一種最小特征的簡單化模型，它的表現(xiàn)似乎不錯(cuò)。但是，請(qǐng)記住，這一比例是 1:10 左右，數(shù)據(jù)非常不平衡。因此，考慮到 91% 的基線空準(zhǔn)確率（Null accuracy ），我們無法說出這個(gè)模型的作用?？諟?zhǔn)確率指的是，模型每次都只是簡單地預(yù)測大多數(shù)類。因此，在我們 1:10 的不平衡數(shù)據(jù)集中，如果模型只預(yù)測 0，那么它就會(huì)準(zhǔn)確地預(yù)測1110 次，即 91%。

經(jīng)驗(yàn)教訓(xùn)：在評(píng)估模型性能時(shí)，確保評(píng)估模型基于基線。在我們的案例中，我們使用的是空準(zhǔn)確率。

模型 v2 的設(shè)計(jì)與結(jié)果

在第二次迭代中，我們僅在采購訂單級(jí)別上使用隨機(jī)森林分類器。這樣做的目的主要是為了訓(xùn)練一個(gè)快速模型，讓我們了解特征的重要性，以及對(duì)這些特征進(jìn)行分類是否有意義。

通過 4 倍的交叉驗(yàn)證，我們也觀察到平均準(zhǔn)確率為 95.9%。將其分解后，我們最終得到準(zhǔn)確率為 95.8%，召回率為 97.5%。盡管這一結(jié)果看起來很有希望，但我們必須謹(jǐn)慎對(duì)待評(píng)估結(jié)果。首先，我們假定所有被標(biāo)記的供應(yīng)商的交易都是積極標(biāo)簽的交易。無論如何，我們必須抑制這一因素。另外，我們需要的是對(duì)供應(yīng)商的預(yù)測，而非對(duì)交易的預(yù)測。同時(shí)，我們也必須在模型中注入供應(yīng)商級(jí)別的特征。

經(jīng)過對(duì)預(yù)測更深入的研究，這個(gè)隨機(jī)森林模型的初步結(jié)果出現(xiàn)了一些問題。舉例來說，當(dāng)我們查看一家預(yù)測的供應(yīng)商的所有交易時(shí)，我們無法從邏輯上說這個(gè)預(yù)測具有類似于代理的屬性。

經(jīng)驗(yàn)教訓(xùn)：盡管預(yù)測結(jié)果有可能高于基線，但也必須回顧由模型生成的預(yù)測數(shù)據(jù)。同時(shí)，牢記我們的目標(biāo)，我們希望預(yù)測的是單一的供應(yīng)商，而非交易。

最終的架構(gòu)設(shè)計(jì)

針對(duì)標(biāo)簽和可用數(shù)據(jù)的不足，我們設(shè)計(jì)了一個(gè)雙模型架構(gòu)。

我們建立了一種基于交易級(jí)數(shù)據(jù)和供應(yīng)商級(jí)數(shù)據(jù)的特征的最終架構(gòu)。只有使用雙模型架構(gòu)才能做到這一點(diǎn)，其中一個(gè)模型依賴于前一個(gè)模型的預(yù)測。

首先，我們建立了一個(gè)基于樹的模型，無論是隨機(jī)森林還是梯度提升決策樹。在部署之前對(duì)梯度提升決策樹和隨機(jī)森林模型進(jìn)行了調(diào)整。第一個(gè)模型將會(huì)嘗試根據(jù)交易級(jí)數(shù)據(jù)進(jìn)行預(yù)測，比如貨幣、部門、金額和描述。如果這些交易看起來有問題，我們就把這種預(yù)測稱為第一級(jí)預(yù)測。當(dāng)我們調(diào)整第一個(gè)模型的時(shí)候，我們優(yōu)化了召回分?jǐn)?shù)，因?yàn)槲覀兿Ｍ钚』訇幮浴?/span>

僅采用單一模型體系結(jié)構(gòu)，邏輯和技術(shù)都會(huì)有缺陷。第一，我們的目的是預(yù)測代理，而非交易。單獨(dú)的模型將試圖預(yù)測交易，而非代理。另外，有些特征不能用交易級(jí)數(shù)據(jù)進(jìn)行編碼，比如每個(gè)供應(yīng)商的商品種類的數(shù)量。所以，在進(jìn)行了第一級(jí)預(yù)測后，下一步是根據(jù)廠商匯總結(jié)果。在此過程中，我們選擇統(tǒng)計(jì)供應(yīng)商進(jìn)行交易的唯一實(shí)體數(shù)量（例如， Uber 和 Uber BV 是不同的實(shí)體)，統(tǒng)計(jì)每個(gè)供應(yīng)商唯一交易類型數(shù)量，并取每個(gè)供應(yīng)商預(yù)測交易的平均值。舉例來說，如果一家供應(yīng)商有 10 個(gè)交易，其中 8 個(gè)交易是由第一個(gè)模型預(yù)測的（未作標(biāo)簽），那么該供應(yīng)商在匯總中得分 0.80。

最后，支持向量機(jī)（Support Vector Machine，SVM）模型將利用這些特征進(jìn)行最終的預(yù)測。通過對(duì)支持向量機(jī)模型的調(diào)整，將不平衡數(shù)據(jù)考慮在內(nèi)，優(yōu)化了平衡準(zhǔn)確率得分。

為什么沒有使用樸素貝葉斯？因?yàn)槲覀儾恢老闰?yàn)概率是多少。請(qǐng)記住，我們的標(biāo)簽數(shù)據(jù)只是一批手工挑選的供應(yīng)商。我們不知道他們是占所有供應(yīng)商或交易的 5%、10%，還是 50%。因此，我們沒有任何理由去使用樸素貝葉斯。

模型性能

表 1：“二八開”雙模型架構(gòu)中，訓(xùn)練和驗(yàn)證數(shù)據(jù)的混淆矩陣。

上面的表格是廠商數(shù)據(jù)在“二八開”時(shí)的訓(xùn)練和驗(yàn)證得分。由于陽性標(biāo)簽的數(shù)量非常少，所以拆分時(shí)對(duì)數(shù)據(jù)進(jìn)行了分層。

以下是模型與整個(gè)數(shù)據(jù)集擬合后的混淆矩陣，供參考。

表 2：雙模型架構(gòu)下完全訓(xùn)練模型的混淆矩陣

混淆矩陣顯示了有希望的結(jié)果。但是，對(duì)于如此小的樣本，我們在評(píng)估結(jié)果時(shí)必須非常謹(jǐn)慎。盡管隨機(jī)森林 - 支持向量機(jī)在同類產(chǎn)品中的表現(xiàn)明顯優(yōu)于梯度提升型決策樹 - 支持向量機(jī)，但我們不能很快地完全否定梯度提升決策樹 - 支持向量機(jī)。

以下是驗(yàn)證分?jǐn)?shù)及其 95% 的置信區(qū)間。雖然在每個(gè)統(tǒng)計(jì)量的點(diǎn)估值之間存在顯著差異，但是實(shí)際上，兩個(gè)模型之間的置信區(qū)間有相當(dāng)大的重疊。將模型應(yīng)用到實(shí)際生產(chǎn)中，所得到的輸入越多，置信區(qū)間越窄，點(diǎn)估計(jì)就越更準(zhǔn)確。

表 3：“二八開”的兩種模型的驗(yàn)證數(shù)據(jù)的分類報(bào)告

若要評(píng)估單模型架構(gòu)和雙模型架構(gòu)的結(jié)果，最好的方法就是將交易級(jí)別的預(yù)測結(jié)果按廠商進(jìn)行匯總。對(duì)于基準(zhǔn)測試來說，如果某一供應(yīng)商有一個(gè)積極的預(yù)測，那么我們假定該供應(yīng)商是預(yù)測的代理。這個(gè)方法似乎有些極端，但實(shí)際上，如果我們只對(duì)交易進(jìn)行預(yù)測，我們就將利用預(yù)測結(jié)果調(diào)查可疑的供應(yīng)商。

表 4：兩種架構(gòu)的完全訓(xùn)練過的模型的分類報(bào)告 * 注：此表僅用于演示單模型和雙模型架構(gòu)之間的同類比較。

結(jié)論

在評(píng)估哪種模型最好的時(shí)候，我們將以上表 3 中所示的驗(yàn)證分?jǐn)?shù)作為基準(zhǔn)，根據(jù)這些分?jǐn)?shù)做出判斷?？紤]到這些結(jié)果，我們部署了隨機(jī)森林 - 支持向量機(jī)架構(gòu)作為最終的架構(gòu)，這不僅是因?yàn)樗男阅?，也因?yàn)樗挠?xùn)練和超參數(shù)調(diào)優(yōu)的速度非常快。隨機(jī)森林算法可以在幾分鐘內(nèi)執(zhí)行 RandomSearchCV，而梯度提升決策樹需要超過 6 個(gè)小時(shí)的調(diào)優(yōu)。當(dāng)然，隨機(jī)森林可能已經(jīng)過擬合，但是，鑒于目前的數(shù)據(jù)規(guī)模，很難進(jìn)行評(píng)估。然而，在獲得新數(shù)據(jù)時(shí)，我們需要保持并重新調(diào)整模型，并相應(yīng)地進(jìn)行重新評(píng)估。在此過程中，根據(jù)模型預(yù)測，選取少數(shù)廠商，用更有力的證據(jù)來支持審計(jì)，并對(duì)當(dāng)前問題進(jìn)行量化。

借助這一項(xiàng)目，我們可以更加自信地為管理層提供全面的信息，回答諸如每個(gè)國家有多少代理、交易數(shù)量、所付現(xiàn)金總額、過去三年的演變情況，以及使用情況等問題。這樣，我們就可以了解到管理層之前沒有意識(shí)到的問題，同事也為我們提供了關(guān)于如何讓合適的領(lǐng)導(dǎo)者參與解決業(yè)務(wù)風(fēng)險(xiǎn)方面的重要洞察力。本文提出的方法還可用于其他審計(jì)，值得進(jìn)一步研究。

作者介紹

Jesse He，數(shù)據(jù)科學(xué)家，Uber 內(nèi)部審計(jì)公司數(shù)據(jù)科學(xué)團(tuán)隊(duì)的創(chuàng)始成員。在 Uber，致力于推動(dòng)內(nèi)部審計(jì)的邊界，熱衷于學(xué)習(xí)和應(yīng)用創(chuàng)造性的機(jī)器學(xué)習(xí)解決方案來解決就問題。在普渡大學(xué)獲得了 MIS。會(huì)計(jì)和金融專業(yè)的學(xué)士學(xué)位，其間還學(xué)習(xí)了航空工程、航空航天管理，并獲得了商業(yè)飛行員執(zhí)照。

原文鏈接：

https://eng.uber.com/ml-internal-audit/

編輯：黃繼彥

校對(duì)：林亦霖

機(jī)器學(xué)習(xí)在稀疏標(biāo)注數(shù)據(jù)內(nèi)部審計(jì)中的應(yīng)用