誤差最小0.1%！AI預(yù)測大選結(jié)果驚人，民調(diào)可以「下課」了
??新智元報道??
??新智元報道??
來源：VB
編輯：小勻、QJP
【新智元導(dǎo)讀】美國大選塵埃落定，在回顧無數(shù)drama的競選之路的同時，人們也發(fā)現(xiàn)，傳統(tǒng)的民意查方法似乎變得「老套」了，一些科技公司表示，人工智能大有希望！算法可以捕捉到更廣闊的選舉動態(tài)圖景，利用了twitter 和 Facebook 等信息，AI的預(yù)測似乎更為準確。
美國人講不講風水？
?
在各種比賽中，為了預(yù)測結(jié)果，什么「工具」都用上了。比如2010年世界杯時，章魚哥因預(yù)測勝負頻頻得準火出了圈。
?
寧信章魚也不信人的種子就這樣埋下了。
?
本屆美國大選也是，可能是由于民調(diào)的結(jié)果有過失誤（當年希拉里民調(diào)領(lǐng)先，卻輸了大選），這次的大選，人們不再信人心，更加相信「科學」了。
比如，一個AI。
?
一家專門從事NLP的意大利軟件公司Expert.ai，將其技術(shù)應(yīng)用到數(shù)百萬個社交帖子上，通過分析語氣和情緒等因素，將這些數(shù)據(jù)轉(zhuǎn)化為了選票。
?
另一家公司總部位于加州的Unanimous.ai公司銷售所謂的「群體智能」軟件。它使用人工智能模型來匯總?cè)后w的預(yù)測和決策。
盡管方法略有不同，但他們的推論都是：拜登獲勝。
?
歷經(jīng)無數(shù)big drama后，拜登終于在昨日凌晨突圍，并修改自己的推特簡歷：美國當選總統(tǒng)。任憑川普再怎么不服輸，任憑川普粉絲再怎么憤怒。
?
大勢已定，AI預(yù)測普遍獲勝。
如果「章魚哥」沒有英年早逝，它應(yīng)該會吃驚地發(fā)現(xiàn)，自己的工作可以被AI替代。
民調(diào)不完美坑了誰？
?
民調(diào)并不是一門完美的科學。
?
2016年大選前的報道顯示，希拉里·克林頓在全國范圍內(nèi)領(lǐng)先，在威斯康辛、密歇根和賓夕法尼亞等州勢均力敵。但是，結(jié)果有些出乎意料——特朗普最終通過了贏得總統(tǒng)大選所需的270張選舉人票。
?
美國民意研究協(xié)會的一份報告得出結(jié)論說，州級民調(diào)「低估了川普在中西部北部的支持率」。
?
換句話說，民調(diào)忽略了一些地區(qū)的數(shù)據(jù)，而這些，正是川普最終獲勝的關(guān)鍵。
雖然此次的民調(diào)是拜登領(lǐng)先，與最終大選結(jié)果一致。但是否有比傳統(tǒng)民調(diào)更準確的方法，來預(yù)測選舉結(jié)果呢？
?
眾所周知，民調(diào)主要依靠電話和在線小組調(diào)查，顯然，這個范圍會漏掉很多東西——現(xiàn)在的人們更傾向于在網(wǎng)上發(fā)泄情緒。
?
許多AI公司稱，利用Twitter和Facebook消息等信號，算法可以更全面地描繪選舉動態(tài)。
?
差距最小為0.1%！有的AI預(yù)測還真不是「江湖騙子」
?
此次大選期間利用AI預(yù)測的科技公司非常多，但他們都有一個共同點：在社交媒體數(shù)據(jù)上進行訓(xùn)練。
?
與投票一樣，算法驅(qū)動的預(yù)測結(jié)果中的一些差異也可以歸因于方法上的差異。
意大利的Expert.ai 利用一個知識圖譜來進行命名實體識別(包括個人、公司和地點) ，并嘗試建立它們之間的關(guān)系模型。
?
該公司表示，系統(tǒng)將84個情感標簽對應(yīng)到來自 Twitter 和其它網(wǎng)絡(luò)來源的數(shù)十萬條帖子上，同時半自動化的去除了僵尸賬號。
Expert.ai 的算法對標簽進行排名，取值從1到100不等，并將其乘以每個候選項出現(xiàn)的次數(shù)。與此同時，它將標簽的情緒分為「積極的」或「消極的」，并利用這一點創(chuàng)建一個指數(shù)，可以比較兩個候選項的區(qū)別。
?
根據(jù)自己的系統(tǒng)預(yù)測，民主黨總統(tǒng)候選人拜登將贏得50.2% 的普選票，共和黨總統(tǒng)特朗普將獲得47.3% 的選票，領(lǐng)先2.9個百分點。
?
來對比下實際結(jié)果；拜登獲得了50.7% 的普選選票，特朗普獲得了47.7% 的選票，差距為3個百分點。
?
Expert.ai 的預(yù)測結(jié)果僅僅差距了0.1個百分點！
相比之下，KCore ?Analytics 公司聲稱它們已經(jīng)使用了超過10億條 tweets 數(shù)據(jù)來進行預(yù)測，它開發(fā)了一個端到端的框架來收集像 Twitter 這樣的網(wǎng)絡(luò)中的有影響力的人和標簽。
??
數(shù)據(jù)是根據(jù)推文的內(nèi)容和頻率進行實時選擇的，同時排除了機器人、AWS-LSTM 這樣的模型產(chǎn)生的數(shù)據(jù)等，通過分析這些數(shù)據(jù)進行預(yù)測分類，聲稱準確率高達89.5% 。
?
至于Polly系統(tǒng)，它收集了一個隨機的、受控的美國選民樣本，這些選民是通過他們在社交媒體上的帖子和對話來確定的。在11月3日之前，這一數(shù)字為288,659人。
?
使用人工智能預(yù)測選舉結(jié)果的其中一個挑戰(zhàn)是：必須訓(xùn)練算法學習與國家預(yù)測相吻合的選舉團的不同模型。
?
另一個挑戰(zhàn)是，這些模型需要進行 fine-tune，以發(fā)現(xiàn)對特定少數(shù)群體和地區(qū)的重要的問題，群體越小，問題就越難找到。
Polly基于對Twitter等社交媒體內(nèi)容的消化，創(chuàng)建了一個包含288,588名選民的隨機示例。
?
它也關(guān)注那些推動選民的問題，如COVID、選舉的公正性、犯罪等。Polly根據(jù)模型預(yù)測拜登將贏得346張選舉人票。
?
不過，根據(jù) Advanced Symbolics（ASI）的說法，Polly 系統(tǒng)在這方面完全失敗了——這個模型預(yù)測，佛羅里達州將投票給拜登，占該州總票數(shù)的52.6%。
?
原因很簡單：古巴裔美國人通常投票給共和黨候選人，但該系統(tǒng)沒有對他們進行單獨抽樣，而卻將他們歸類為「西班牙裔」 ，與委內(nèi)瑞拉裔和墨西哥裔美國人并列。
潛在影響因素也可能導(dǎo)致AI預(yù)測失誤
?
除了這些，AI預(yù)測也有別的「門檻」。
?
例如，美國農(nóng)村地區(qū)的投票結(jié)果就更難以用模型來解釋。因為這些地區(qū)使用 Twitter 的選民比例較低，導(dǎo)致這些模型低估了支持拜登的選民的優(yōu)勢。
此外，Twitter 上的特朗普潛在支持者更少，因為這個社交網(wǎng)絡(luò)往往更傾向于自由派。這意味著，特朗普的支持者的推文在基于社會的選舉預(yù)測模型中的權(quán)重更大，但有時也不夠大，就像Polly遇到的情況一樣。
?
像 KCore Analytics 這樣的公司表示，他們的人工智能模型要優(yōu)于傳統(tǒng)的民意調(diào)查，因為它們可以擴大潛在選民的群體，并根據(jù)抽樣偏差(比如代表性不足的少數(shù)族裔)和其他限制調(diào)整預(yù)測結(jié)果。
?
任何數(shù)據(jù)以及最終對AI的挑戰(zhàn)都是數(shù)據(jù)本身。
投票基于人的數(shù)據(jù)集。人們面臨的挑戰(zhàn)是，他們實際上是不可靠和不可預(yù)測的。當被問到諸如「您將投票給誰」和「您每周工作多少次」之類的問題時，他們也是不誠實的，會經(jīng)常給出他們認為詢問者想聽到的答案。
AI預(yù)測要代替民調(diào)了嗎？還差點意思！
?
基于民調(diào)，卻勝于民調(diào)。
?
「它與傳統(tǒng)投票和人工智能的主要區(qū)別在于，人工智能一直在變得越來越好。」
?
相比傳統(tǒng)的民調(diào)，AI 預(yù)測系統(tǒng)兩大優(yōu)點不可忽視：
首先，能綜合多元異構(gòu)數(shù)據(jù)，社交網(wǎng)絡(luò)和新聞媒體的數(shù)據(jù)多的不計其數(shù)，而且，AI還可以根據(jù)突發(fā)狀況實時更新預(yù)測果。
這也是它的第二個優(yōu)點。
?
同時，在搜集各家民調(diào)數(shù)據(jù)之后，AI預(yù)測更細粒度的精準數(shù)據(jù)，將預(yù)測的結(jié)果的準確性提升一個等級。
不過，對于AI來說，要想得到更準確的預(yù)測結(jié)果，需要更多元化的數(shù)據(jù)。
但是，在保隱私數(shù)據(jù)護嚴格的美國，想收集反映群體和個體行為的數(shù)據(jù)，是十分困難的。
