AI識(shí)別技術(shù), 在怎樣改變?nèi)蛄髅襟w們?

這是Han的第72篇原創(chuàng)文章

話說(shuō)，最近這高質(zhì)量網(wǎng)綜也太多了吧，都看不過(guò)來(lái)！

?

我這時(shí)間，全耗在各種職場(chǎng)、偵探、語(yǔ)言、演技類節(jié)目里了。

?

那今天，咱就來(lái)說(shuō)說(shuō)，這些流媒體平臺(tái)吧。

?

我一直覺(jué)得啊，咱互聯(lián)網(wǎng)企業(yè)的“落地”能力，那是杠杠的。

?

同樣類型的App，對(duì)比國(guó)外App，國(guó)內(nèi)大廠總有各種新奇的功能，真引領(lǐng)世界。

?

周末，我看《奇葩說(shuō)》的時(shí)候，就發(fā)現(xiàn)愛(ài)奇藝在推廣一個(gè)新玩意兒—— “掃一掃”。

視頻旁邊，會(huì)有個(gè)掃面按鈕。開始我還不知道，這是干嘛的。

?

點(diǎn)擊了之后才發(fā)現(xiàn)，原來(lái)是對(duì)內(nèi)容掃描啊，進(jìn)行人臉識(shí)別。然后，會(huì)告訴你視頻里的人都是誰(shuí)，還有相關(guān)百科。

哇，完美解決觀眾常見(jiàn)需求—— “這人誰(shuí)??？”。

?

仔細(xì)想想，技術(shù)上，還真挺難的。

?

要知道，這可不是機(jī)場(chǎng)里面那種 1:1 人臉識(shí)別，你可以正對(duì)著攝像頭，讓系統(tǒng)認(rèn)出來(lái)。

?

你看，誕總和蟲仔，視頻里根本沒(méi)看鏡頭，機(jī)器只能根據(jù)一部分側(cè)臉做出判斷。

?

在我看看來(lái)，類似“掃一掃”的創(chuàng)新功能，改變的可不僅僅是優(yōu)化用戶體驗(yàn)。

?

通過(guò)這小小的功能，我看到的是全球流媒體平臺(tái)們暗潮涌動(dòng)的技術(shù)整體實(shí)力的競(jìng)爭(zhēng)，以及在“識(shí)別”這個(gè)動(dòng)作下，人、場(chǎng)、物，正在技術(shù)賦予的想象力中串聯(lián)在一起。

來(lái)，我們先“認(rèn)識(shí)”一下

“掃一掃”是眾多AI在視頻里應(yīng)用的一個(gè)小例子，實(shí)際上，AI已經(jīng)充斥在視頻各個(gè)環(huán)節(jié)。?要讓AI得到更充分的應(yīng)用，第一步，當(dāng)然就是要認(rèn)識(shí)視頻里的內(nèi)容。?這個(gè)能力沒(méi)有，后面都沒(méi)法玩兒。?來(lái)，咱直接先看一個(gè)AI最復(fù)雜的應(yīng)用場(chǎng)景—— 藝術(shù)創(chuàng)作。?今年7月，Netflix財(cái)報(bào)披露：公司正在研究利用AI生成預(yù)告片。

?很快，Netflix就可以快速、大量地，對(duì)海量?jī)?nèi)容自動(dòng)生成預(yù)告，質(zhì)量還非常高哦。?在降低剪輯師人工成本的同時(shí)，這千人千面的預(yù)告片，又會(huì)增加影片點(diǎn)擊率和觀看時(shí)長(zhǎng)。?其實(shí)，在2016年時(shí)，21世紀(jì)?？怂购虸BM就推出了Watson系統(tǒng)給自家的驚悚片Morgan自動(dòng)生成預(yù)告片了，只不過(guò)不能像Netflix這大批量搞。?

這背后的原理其實(shí)都類似，一共分兩步。?第一步，就是識(shí)別并理解內(nèi)容。?把剪輯好的全片直接倒入，系統(tǒng)首先就會(huì)開始對(duì)內(nèi)容進(jìn)行識(shí)別。?比如，進(jìn)行復(fù)雜環(huán)境下的人臉識(shí)別，認(rèn)出演員是誰(shuí)，還能知道誰(shuí)是主角，誰(shuí)是群演。?除了人，還會(huì)對(duì)景色、物體識(shí)別，貼上各種標(biāo)簽，比如“公園里”，“家里近景”等等。?另外，還會(huì)對(duì)臺(tái)詞和配樂(lè)分析，識(shí)別各個(gè)片段的情感，是驚悚還是溫情，一目了然。?這一過(guò)程想要做到詳細(xì)，是很耗費(fèi)時(shí)間的，因?yàn)橐渌麃?lái)源的數(shù)據(jù)對(duì)比。比如IBM的Watson，就需要24小時(shí)來(lái)完成。

?

第二步，就是根據(jù)既定工業(yè)化套路生成預(yù)告。?比如，同樣是30秒的預(yù)告，可以有各種風(fēng)格，和各種模版音樂(lè)，按照相關(guān)標(biāo)準(zhǔn)生產(chǎn)即可，再根據(jù)用戶喜好投放。?假設(shè)，讓你用AI剪輯沈騰的喜劇電影合集，那可以想象出來(lái)，這最起碼可以有“感人風(fēng)格”和“爆笑風(fēng)格”兩種模版。

?
上面這兩步里，第一步的“識(shí)別”是基礎(chǔ)，第二步的“生成”則是應(yīng)用。?當(dāng)然，第一步最為重要也是必須，而且同一部影片，系統(tǒng)理解一次之后，結(jié)果可以重復(fù)利用，賦能更多應(yīng)用。?第一步的“識(shí)別”還真是“基礎(chǔ)武功”。正因如此重要，各大流媒體巨頭都在重點(diǎn)投入研發(fā)。?國(guó)內(nèi)方面，老大哥愛(ài)奇藝在研究識(shí)別這件事上下了大功夫。比如愛(ài)奇藝計(jì)算機(jī)視覺(jué)的研究成果多次被包含ICCV在內(nèi)的學(xué)術(shù)會(huì)議收錄，多次在挑戰(zhàn)賽獲獎(jiǎng)。?愛(ài)奇藝還曾直接聯(lián)合了國(guó)內(nèi)外頂級(jí)視覺(jué)和多媒體會(huì)議，如PRCV2018和ACMMM，首次發(fā)起“多模態(tài)視頻人物識(shí)別挑戰(zhàn)賽”，還公布了全球最大的明星視頻數(shù)據(jù)集（iQIYI-VID），聯(lián)手產(chǎn)學(xué)研，取得突破。

你問(wèn)啥是多模態(tài)識(shí)別？

簡(jiǎn)單說(shuō)，就是基于人臉、聲紋、姿態(tài)、場(chǎng)景等綜合識(shí)別，這樣一來(lái)，即使在暗光下、化濃妝、側(cè)臉等等，都能準(zhǔn)確識(shí)別，它對(duì)提升人物識(shí)別的精準(zhǔn)度非常重要，屬于AI領(lǐng)域中前沿的技術(shù)。?開頭提到“掃一掃”能識(shí)別半張臉的蟲仔，核心能力就來(lái)自于這兒。所以這些應(yīng)用看著好像沒(méi)什么，但沒(méi)點(diǎn)硬核技術(shù)還真不行。

?比如愛(ài)奇藝辦的這兩場(chǎng)大賽，就讓它的人物識(shí)別精確度大幅提升。不然你以為一家?jiàn)蕵?lè)公司為什么要天天搞技術(shù)研發(fā)。?當(dāng)AI系統(tǒng)“識(shí)別”了視頻內(nèi)容，那就算是“正式認(rèn)識(shí)”了。在之后，更多的應(yīng)用可能性，就可以展開了。

“認(rèn)識(shí)”之后，事兒了就好辦了

如何利用AI已經(jīng)“識(shí)別”好的視頻數(shù)據(jù)呢？?這時(shí)，就要想下流媒體平臺(tái)的位置了：鏈接「創(chuàng)作者」和「觀眾」。?對(duì)于「觀眾」們，就是要想辦法提高用戶觀影體驗(yàn)，而對(duì)「創(chuàng)作者」，就可以幫助他們更快更方便的做出好內(nèi)容。?先看「觀眾」端。?有了識(shí)別的信息以后，最簡(jiǎn)單的應(yīng)用就是…直接把結(jié)果顯示給用戶唄。比如，文章開頭提到的“掃一掃”。?TV端也有類似的，比如奇異果AI雷達(dá)—— 顯示明星信息，進(jìn)入泡泡社區(qū)等。?其他相關(guān)的應(yīng)用還有——「只看TA」，騰訊視頻和愛(ài)奇藝也都支持。

?點(diǎn)了之后，用戶就可以只看自己愛(ài)豆的cut了，比如看一萬(wàn)遍“坤坤唱跳籃球Rap”合集。這背后，就是利用了各種識(shí)別技術(shù)，人臉、表情、場(chǎng)景等等。?誒？于此推演，我有一個(gè)腦洞。?那就是，“只-不看TA”。想一下，是不是對(duì)于某些劇啊，綜藝啊，你老覺(jué)得有些地方比較多余？比如，《親愛(ài)的》里面的回憶畫面，還有《破冰》里面的陳珂。是不是感覺(jué)，你需要這個(gè)功能。?其他的，還有對(duì)特定人群的使用優(yōu)化，比如騰訊視頻的兒童模式保護(hù)，愛(ài)奇藝的AI手語(yǔ)主播片段生成，B站等彈幕網(wǎng)站的智能防擋臉功能等等。

?好，那再來(lái)看看對(duì)「創(chuàng)作者」的應(yīng)用。?上面提到的預(yù)告片自動(dòng)剪輯，就是一個(gè)高級(jí)的例子。?國(guó)內(nèi)方面，AI也已經(jīng)被主要用到兩個(gè)方面：智能選角色，還有，智能剪輯。?AI選角，可以根據(jù)劇情需要和演員信息智能匹配，大大提升選人效率和成功率。愛(ài)奇藝的“藝匯”和優(yōu)酷的“魚腦”系統(tǒng)，都已經(jīng)正式商用。?選角的結(jié)果，就有《泡沫之夏》的張雪迎、《最好的我們》的劉昊然，還有《長(zhǎng)安十二時(shí)辰》的雷佳音等等。?
剪輯方面，目前已經(jīng)商用的，更多的，是一個(gè)“助手”角色。比如，拍真人秀的時(shí)候，需要FollowPD時(shí)刻記錄，還要后期各種人工打標(biāo)簽，剪輯的時(shí)候超級(jí)費(fèi)勁。?有了AI的加持，系統(tǒng)可以快速掃描內(nèi)容，然后按照明星角色分類，還可以識(shí)別各類場(chǎng)景，甚至人物的語(yǔ)言和情緒，給各個(gè)片段都打上有用的標(biāo)簽。?比如，在《中國(guó)新說(shuō)唱》后期制作的時(shí)候，AI就幫助剪輯師通過(guò)特定標(biāo)簽，精準(zhǔn)找到需要片段內(nèi)容，數(shù)秒內(nèi)就可以調(diào)出特定人物素材，大大縮短制作時(shí)間。?類似的系統(tǒng)和功能，國(guó)內(nèi)各大產(chǎn)都有投入，愛(ài)奇藝的智能剪輯，騰訊智能云剪輯，優(yōu)酷的鯨觀剪輯等等。?當(dāng)然，AI的能力不僅在于提升體驗(yàn)，最重要的，還是幫平臺(tái)賺錢。

“識(shí)別”與流媒體平臺(tái)的“賺錢引擎”

AI怎么幫流媒體平臺(tái)賺錢？這里有兩個(gè)重點(diǎn)應(yīng)用：視頻推薦，以及，廣告投放。?當(dāng)然，這背后都有統(tǒng)一的關(guān)鍵詞“匹配”——內(nèi)容和人，廣告和人。?當(dāng)用戶能更快的看到自己想看的內(nèi)容，會(huì)員就會(huì)不退訂。當(dāng)用戶能發(fā)現(xiàn)自己喜歡的商品，廣告主就不會(huì)停止花錢，這樣整個(gè)機(jī)器就會(huì)運(yùn)轉(zhuǎn)。?根據(jù)Netflix，其平臺(tái)80%的觀看量都來(lái)自于推薦引擎。他們希望用戶能在1分鐘之內(nèi)開始觀看節(jié)目，否則用戶很有可能會(huì)有關(guān)掉整個(gè)App。

除了常見(jiàn)的，在網(wǎng)站和App上，根據(jù)推薦位的權(quán)重不同，以及用戶的喜好程度推薦視頻之外，Netflix還可以利用智能識(shí)別到的視頻圖像信息，生成個(gè)性化的視頻封面。?比如，一部劇里有很多演員，Netflix會(huì)先“識(shí)別”出不同的角色和演員，之后專門用你喜歡的演員當(dāng)封面，類似的還可以應(yīng)用在不同場(chǎng)景和色調(diào)上。?比如下面這個(gè)《奇怪物語(yǔ)》，就可以生成無(wú)數(shù)種不同的封面，角色、場(chǎng)景都不同。

?
另外，還可以根據(jù)你看視頻的時(shí)間和歷史內(nèi)容，體會(huì)你的心情變化，推薦不同的視頻。比如，一部電影可以有「浪漫」和「驚險(xiǎn)」兩種風(fēng)格的封面。你大半夜的，剛看完一部恐怖片，那就會(huì)給你用浪漫風(fēng)格推薦，平復(fù)一下心情。

國(guó)內(nèi)方面，推薦能力各家均有部署。?愛(ài)奇藝推出了個(gè)性化海報(bào)，可以根據(jù)用戶的喜好，“識(shí)別”用戶喜歡的海報(bào)并推送。去年3月，奇異果TV的首頁(yè)個(gè)性化長(zhǎng)視頻推薦功能落地，為用戶提供千人千面的推薦服務(wù)。?除了賣會(huì)員，廣告也是流媒體平臺(tái)的重要盈利方式。

?
在之前，視頻的貼片廣告，就只是隨便地插入到視頻里，再正常播放就完事了。廣告和視頻本身幾乎分離，用戶體驗(yàn)很差，廣告轉(zhuǎn)化率也很低。?后來(lái)，YouTube和愛(ài)奇藝等頭部企業(yè)，探索了智能廣告插入點(diǎn)，也就是，在適合的情況下插入廣告，以減少用戶體驗(yàn)的損失。?最近兩年，大家又開始探索，怎樣能讓廣告也和視頻內(nèi)容完美切合。?比如，愛(ài)奇藝的創(chuàng)可貼廣告，會(huì)根據(jù)AI對(duì)視頻內(nèi)容“識(shí)別”的結(jié)果，比如不同的場(chǎng)景、角色、演員、情緒、動(dòng)作、臺(tái)詞等，選取廣告點(diǎn)位。

?
之后，在影片播放過(guò)程中，以浮層展示不同品牌形象的廣告。
基于不同劇情而推送的廣告，其內(nèi)容與視頻情節(jié)有了關(guān)聯(lián)，用戶體驗(yàn)和商品轉(zhuǎn)化率都大幅提升。
去年爆款大劇《延禧攻略》上，這類情景廣告就有廣泛應(yīng)用，大受廣告主喜愛(ài)。?看到愛(ài)奇藝最新的“掃一掃”功能，我覺(jué)得，全新“電視購(gòu)物”的時(shí)代要來(lái)了。?自動(dòng)識(shí)別內(nèi)容+ 電商鏈接，絕對(duì)是一個(gè)新亮點(diǎn)。隨便看一個(gè)什么綜藝啊，現(xiàn)代劇啊，就約等于電視購(gòu)物。?看到節(jié)目里面的明星們，在穿啥用啥吃啥，你突然種草了的話，那就直接“掃一掃”視頻畫面唄，然后你會(huì)知道這些商品是什么，然后去直接購(gòu)買。?這一定是一個(gè)新的電商流量入口，再也不用自己去搜什么“xx同款”了?；跍?zhǔn)確的識(shí)別，實(shí)現(xiàn)了人、貨、場(chǎng)的連接。?國(guó)際方面，YouTube在2017年就嘗試廣告內(nèi)容個(gè)性化方案，推出Director Mix工具，方便讓廣告主根據(jù)不用用戶定制化廣告。?比如，同樣一款湯類產(chǎn)品的廣告：

• 如果你在看《星際穿越》，那么貼片的廣告語(yǔ)就會(huì)是“感到世界之外的饑餓了嗎？”

• 而如果你在看《女子監(jiān)獄》，廣告語(yǔ)就變成了“牢里的飯不好吃？

  我們的湯好吃。”

• 要是你在看碧昂斯的《SingleLady》，那就說(shuō)“一個(gè)人吃晚飯？”

根據(jù)YouTube，這種和視頻內(nèi)容極度切合的廣告方案，讓這款新的湯品的品牌認(rèn)知度提升55%。

“識(shí)別”技術(shù)和未來(lái)

AI在流媒體中的應(yīng)用，重點(diǎn)就是視頻識(shí)別技術(shù)的各種落地。?從Netflix和愛(ài)奇藝等中美流媒體巨頭的動(dòng)作，我們可以看出這些年的布局特點(diǎn)。?首先，重點(diǎn)鋪研發(fā)。從Netflix早年舉辦轟動(dòng)業(yè)界的百萬(wàn)美金推薦引擎大賽，到愛(ài)奇藝最近的識(shí)別大賽，都是企業(yè)在貼近學(xué)界，布局基礎(chǔ)能力。?之后，要利用識(shí)別到的數(shù)據(jù)，展開落地應(yīng)用探索。流媒體們，作為中間平臺(tái)，向下游，要嘗試提升用戶體驗(yàn)的功能，向上游，則要方便節(jié)目選角和影片制作。?重點(diǎn)，是要通過(guò)強(qiáng)大的AI能力來(lái)賺錢，更好的推薦引擎，更優(yōu)化的廣告技術(shù)甚至嘗試融合電商，都是流媒體們商業(yè)化探索的成果。

?2019年，隨著蘋果TV+和迪士尼+正式商用，流媒體的競(jìng)爭(zhēng)更激烈了。?流媒體的競(jìng)賽，除了內(nèi)容自制和版權(quán)領(lǐng)域外，最大的戰(zhàn)場(chǎng)就在AI，就在視頻識(shí)別能力的突破，以及像樣兒的落地應(yīng)用。?5G時(shí)代下，沒(méi)有卡頓的體驗(yàn)和越來(lái)越強(qiáng)的AI，將會(huì)把用戶的最后一滴時(shí)間“榨干”，你準(zhǔn)備好了嗎？

我的新書已出版，感謝支持：Han的新書《硅谷思維》上市了！?