長江論道|百視通高級技術專家鄭煒:百視通AI應用的思考和實踐

2024年5月23-24日，由流媒體網(wǎng)主辦，湖北長江云新媒體集團、湖北電信、湖北移動、湖北聯(lián)通協(xié)辦的「長江論道暨第27屆智能視聽與科技創(chuàng)新產(chǎn)業(yè)論壇」在武漢隆重舉行。

本屆論道以“洞見新格局·智變新視聽”為主題，聚焦大屏格局之變，尋找視聽向新路徑。在24日下午舉行的“AI+新視聽創(chuàng)新論壇”上，百視通高級技術專家鄭煒做了主題為《百視通AI應用的思考和實踐》的演講。

以下為演講全文：

各位領導、各位嘉賓，大家下午好！非常高興能夠參加這次的AI+新視聽創(chuàng)新論壇，和大家一起探討AI技術是如何賦能新視聽行業(yè)的，并分享一些百視通對AI應用的思考和實踐。

本次分享的內容主要從三個方面展開。首先是回顧媒體AI發(fā)展歷程；然后說一說百視通的AI能力開放平臺規(guī)劃；以及百視通在AI應用場景的探索實踐。

媒體AI發(fā)展態(tài)勢和百視通的理念

人工智能的發(fā)展歷程是曲折起伏的，且經(jīng)過了很長時間的歷史沉淀。1956年到1980年左右，出現(xiàn)了第一次人工智能的發(fā)展浪潮，早期AI被認為是一種賦予邏輯推理能力的機器，由于硬件設施難以適應指數(shù)級增長的計算復雜度而遇冷。從1980年起，機器學習開始興起，各種專家系統(tǒng)開始被人們廣泛應用。不幸的是，隨著專家系統(tǒng)的應用領域越來越廣，問題也逐漸暴露出來。專家系統(tǒng)應用有限，且經(jīng)常在常識性問題上出錯，因此人工智能迎來了第二個寒冬。2000年后，由于人工神經(jīng)網(wǎng)絡的不斷發(fā)展，“深度學習”的概念被提出，之后，深度神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡開始不斷映入人們的眼簾。深度學習的發(fā)展又一次掀起人工智能的研究狂潮。

直至2022年末，以ChatGPT為代表的生成式人工智能應用快速破圈，火爆全網(wǎng)，當然也引起了媒體行業(yè)的廣泛關注。但我們也發(fā)現(xiàn)任何一種深度學習的AI算法都不能保證結果的準確性，大模型存在“一本正經(jīng)的胡說八道”問題，即AI幻覺，故應用場景需要謹慎選擇。

今年，以Sora為代表的視覺生成大模型又橫空出世，相較于傳統(tǒng)視頻生成模型，Sora展現(xiàn)出了一系列顯著的差異與創(chuàng)新之處，包括效果更逼真、生成高清視頻的時長突破至60s、具備鏡頭語言和世界模型以及多模態(tài)的生成能力。

生成式人工智能技術引起了媒體和互聯(lián)網(wǎng)行業(yè)相關應用領域的關注，包括游戲、影視、廣告、教育、虛擬人及電商等，生成式人工智能的應用將推動內容生產(chǎn)降本增效，帶來更多自由的交互體驗和商業(yè)場景，推動媒體行業(yè)價值重估。與此同時，我們也要看到，目前的AI技術還是更適合于輔助人類工作，而不適宜直接替代人類工作。因此，百視通認為人工智能技術的應用應該結合企業(yè)實際需求，將人工智能技術作為一種技術能力，全面驅動業(yè)務發(fā)展。

2024年，百視通提出了“ALL IN AI”戰(zhàn)略。我們基于多年技術積累和產(chǎn)業(yè)實踐，結合領先的AI技術和云計算能力，構建了百視通AI能力開放平臺，合理利用AI能力，助力媒體內容的生產(chǎn)、制作、審核、推薦等全流程環(huán)節(jié)。同時，沉淀AI資產(chǎn)，將訓練過程中產(chǎn)生的算法、數(shù)據(jù)、模型變成企業(yè)能力。

百視通AI能力開放平臺

百視通AI能力開放平臺以基礎智算能力為底座，我們也在扎實推進推理能力、訓練能力及算力能力的構建。在此基礎上，平臺打造了智能標簽、智能翻譯、智能制作、視頻理解、視頻增強、智能推薦及智能語音七大AI能力。百視通結合深刻的業(yè)務理解，綜合運用這七大AI能力，全面提升媒體內容生產(chǎn)、制作、播出、內容安全以及運營能力，并賦能智能審核、民語通、圖片制作、高光時刻、視頻超分、智能推薦、無障礙視聽等創(chuàng)新產(chǎn)品。

百視通積累多年內容運營管理經(jīng)驗，構建標簽字段88個。以更加細致的四維媒資標簽體系，包括內容分類標簽、屬性拓展標簽、運營信息標簽及視頻結構化標簽，推動視頻內容管理、搜索、推薦和個性化服務方面的“All in AI”戰(zhàn)略。通過AI多模態(tài)理解能力，可以自動生成視頻結構化標簽，從而應用于精彩片段、智能審核、內容二創(chuàng)等業(yè)務場景。

即多語種譯制能力，包括多語種語音識別、聲紋識別、多語種字幕識別、多語種文本翻譯、多語種圖片翻譯、多語種影視信息翻譯、多語種語音合成及多語種字幕生成等能力。目前智能翻譯的準確度與谷歌是相當?shù)摹?/span>

百視通智能制作以圖片制作為主，AI更多充當創(chuàng)意輔助與質量提升，現(xiàn)階段仍需結合傳統(tǒng)設計工具才能完成設計交付。長期來看，AI制圖在創(chuàng)意構思、設計執(zhí)行、后期處理方面可以大幅度提升設計團隊生產(chǎn)力和創(chuàng)新能力，同時通過設計質量和效率帶動業(yè)務增長。

視頻理解旨在通過深度學習等智能技術，自動化識別和解析視頻中的內容，形成“高光時刻”精彩看點。輔以智能推薦技術，將傳統(tǒng)點播內容高光時刻以直播流進行重新編排，提取每集視頻中精華部分展示給用戶，以直播化的形式全新呈現(xiàn)。以“高光時刻”和“短帶長”引導新增訂購，提高用戶點擊率和訂購轉化率。

以高清視覺體驗為核心，通過畫質增強修復、SDR轉HDR、智能超分、智能插幀等技術手段提升影像質量，為用戶提供卓越的觀感體驗。同時，在音頻方面支持Audio Vivid標準，給用戶身臨其境的聽覺享受。

百視通聚焦主流價值引領，緊密圍繞運營需求，自主研發(fā)推薦引擎，為業(yè)務側實現(xiàn)包含精準分析→運營干預→智能推薦→效果評估的智能推薦運營平臺打造全方位智能推薦服務。基于用戶群像的運營方式，可以通過用戶畫像標簽來分群投放，投放過程的AB分流實驗總結，以及投放后整個用戶全流程鏈路的行為分析，都可以通過平臺來不斷地優(yōu)化。

傳統(tǒng)的智能語音技術主要是利用詞法分析、句法分析、語義分析及語用分析，百視通追求更自然的人機交互方式，利用語音大模型，提高語義理解的準確率，優(yōu)化語音合成的自然度，使得生成的語音更加貼近真實人的聲音，為用戶帶來更加智能、高效的語音交互體驗。

百視通AI應用場景的探索實踐

近年來，人工智能技術在媒體領域的應用越來越廣泛。如決策式/分析式AI，已運用到內容推薦、內容審核等領域；生成式AI，已運用到大批量的內容生產(chǎn)之中。百視通也積極探索AI能力在媒體領域的應用，并在四大應用場景進行了實踐，分別是生產(chǎn)環(huán)節(jié)的智能創(chuàng)作、審核環(huán)節(jié)的多模態(tài)檢索、分發(fā)環(huán)節(jié)的智能推薦以及接收環(huán)節(jié)的智慧服務。

1、生產(chǎn)環(huán)節(jié)：實現(xiàn)媒體內容的智能創(chuàng)作

百視通AIGC的制作標準是出道即4K，發(fā)展定位是專注實用性。2021年7月，百視通自制有聲讀物上線，這是我們對AI配音、AI制圖的首次嘗試。自2023年4月起，百視通財經(jīng)產(chǎn)品在融媒體信息服務方向展開進一步創(chuàng)新嘗試，推出《財經(jīng)元讀報》節(jié)目?！敦斀?jīng)元讀報》依托于第一財經(jīng)的專業(yè)圖文資源，選取篇幅合適的深度報道稿件，通過AI能力加入數(shù)字人進行解說，將非視頻資源快速轉化成更符合大屏用戶習慣的視頻內容。該節(jié)目每期時長在15分鐘以內，每周推出3-5期，迎合當前傳播環(huán)境下用戶對中短視頻的消費偏好，帶領觀眾快速了解財經(jīng)民生資訊，掌握具有公信力、專業(yè)性的解讀。2024年，百視通用文生圖，圖生視頻技術，已推出《奇怪的知識增加了》、《森林童話會》等精彩原創(chuàng)內容。

近年來，百視通已經(jīng)開始布局AIGC輔助創(chuàng)作平臺的構建。百視通自主研發(fā)的AIGC“文心雕龍”全新內容生產(chǎn)平臺內含4個模塊的AIGC可視化工作面板，根據(jù)職能所長由多個部門以4個環(huán)節(jié)的合作形成AIGC工作流。該平臺創(chuàng)新性地整合了先進的AI技術，通過自主訓練大型模型和部署高效工作流等前沿技術，不僅能夠迅速生成符合市場需求的內容，還能革新生產(chǎn)創(chuàng)作的方式，高效地為觀眾提供豐富多樣的內容選擇。

2、審核環(huán)節(jié)：實現(xiàn)媒體環(huán)境的持續(xù)凈化

在介紹我們的智能審核平臺之前，先簡單談一下視頻檢索技術的發(fā)展歷程。傳統(tǒng)的視頻檢索，本質上是退化為文本檢索，通過利用關系型數(shù)據(jù)庫（如MySQL）或文本倒排數(shù)據(jù)庫（Elastic Search）的能力，對文本分詞，進行檢索排序。第二代視頻檢索技術是在第一代技術的基礎上，對視覺、聽覺的模態(tài)進行了自動分析，將其轉化為文本數(shù)據(jù)，其總體架構仍然未變，仍是基于文本的檢索。隨著AIGC和所謂的“通用人工智能（AGI）”崛起，尤以大語言模型（LLM）為代表的大模型全面應用為契機，第三代視頻檢索技術開始成熟。多模態(tài)表征大模型能夠將文本、圖片、音頻、視頻等內容轉換成高維空間中的向量表示，大模型檢索技術支持自然語言搜索，用戶可以用自己的話描述他們想要找的內容，而不是依賴于預先定義好的關鍵詞或標簽。第三代檢索技術的優(yōu)勢在于它的靈活性和表現(xiàn)力。例如：我們輸入 “爆炸”后，就能搜索到爆炸相關的視頻片段。

在入庫流程上，媒資入庫時支持多維度的內容理解；在搜索流程中，跨模態(tài)大模型搜索根據(jù)用戶query文本，再經(jīng)過大模型提取文本特征，搜索向量底庫得到目標內容，針對視頻內容會先聚合片段方便后續(xù)展示命中視頻媒資內部的細節(jié)信息。用戶也可以進行傳統(tǒng)ES文本搜索得到目標內容，用戶可以結合兩種搜索方式使用。

我們的AI智能審核平臺利用多模態(tài)視頻檢索技術，對視頻內容（包括畫面、音頻和文字三種維度）進行違規(guī)問題的檢測，支持自定義審核類型、閾值，圖庫、樣本回流等個性化配置，大幅提高70%的審核效率。

3、分發(fā)環(huán)節(jié)：實現(xiàn)媒體用戶的智能推薦

百視通聚焦主流價值引領，緊密圍繞運營需求，自主研發(fā)推薦引擎，打造全方位智能推薦運營服務平臺。智能推薦服務應用后，在一些關鍵業(yè)務指標上取得了顯著的成效，推薦位使用效率提升4倍，訂購觸發(fā)占比達到20%，人工編排時間投入降低30%。

百視通智能推薦技術應用場景廣泛：包括EPG首頁推薦場景、節(jié)目點播頁推薦場景、頻道播控頁推薦場景及高光時刻視頻流化推薦場景。

4、接收環(huán)節(jié)：實現(xiàn)媒體場景的智慧服務

百視通希望借助人工智能技術為更多的用戶提供媒體場景的智慧服務，其中就包含咱們的視聽障人群，我們的目標是打造一個城市公共文化服務無障礙數(shù)字化垂類基座?；诖四繕?，我們率先打造了國內首款面向視聽障人士的家庭無障礙視聽產(chǎn)品，讓AI為無障礙視聽賦能，讓更多的視聽障人士共享影視文化發(fā)展紅利。百視通打造了一條懸浮在電視屏幕上的數(shù)字“盲道”，為視聽障用戶打開了一個有“聲”有“色”的精彩世界。后續(xù)，我們也會拓展更多的無障礙便民和政務服務場景,為用戶帶來更好的體驗。

未來，百視通將繼續(xù)順應科技潮流，把握人工智能發(fā)展趨勢，不斷深化新體驗、開拓新勢能、創(chuàng)造新融合，開創(chuàng)行業(yè)發(fā)展新未來。

長江論道