有“聲”聚一堂 | RTE 2021 編程挑戰(zhàn)賽圓滿收官

6 月 12 日，由聲網(wǎng)Agora 與環(huán)信聯(lián)合主辦的“RTE 2021 編程挑戰(zhàn)賽”圓滿落幕。從 200+ 支參賽隊伍中沖出重圍的 46 支決賽隊伍用精彩的答辯為歷時 2 個多月的大賽劃下了圓滿的句號。

今年的“RTE 2021 創(chuàng)新編程挑戰(zhàn)賽”共分為 2 個賽道：應(yīng)用創(chuàng)新賽道延續(xù)了「使用聲網(wǎng)Agora SDK 開發(fā)應(yīng)用」的賽題；技術(shù)創(chuàng)新賽道開發(fā)者可以「利用聲網(wǎng)云市場插件接口，開發(fā)自研插件與功能演示 Demo」。

盡管此次的賽制與賽題對參賽隊伍提出了更高的要求，但同時也為大家提供了獨有的技術(shù)創(chuàng)新空間。相較去年而言，兩個賽道的報名隊伍及提交作品幾乎都是去年的兩倍。

本次大賽的決賽和頒獎都是通過 Agora Video Call App 在線上進行的，全程通過 B 站進行了直播。 最終，決賽共誕生了應(yīng)用創(chuàng)新賽道的一、二、三等獎團隊各一名，“環(huán)信專項獎”一名，以及“優(yōu)秀獎” 六名；技術(shù)創(chuàng)新賽道“技術(shù)創(chuàng)新專項獎”一名，“優(yōu)秀獎”一名。

應(yīng)用創(chuàng)新賽道

一等獎：Agora Home AI

隨著智能設(shè)備性能提升和網(wǎng)絡(luò)的快速發(fā)展，以音視頻為基礎(chǔ)的智能硬件也正在蓬勃發(fā)展中。跨品牌、跨產(chǎn)品的設(shè)備管理也成為縈繞在用戶日常使用中繞不開的一個話題。

「Agora Home AI」 系統(tǒng)以智能家居為主題，使用云信令 SDK 實現(xiàn)了IoT 設(shè)備遠程控制。同時，通過聲網(wǎng)Agora RTC SDK 實現(xiàn)人與機器的 1V1 視頻，將機器人端采集到的視頻發(fā)送至 PC 控制中心，進行 AI 智能檢測，觸發(fā)事件響應(yīng)。

系統(tǒng)采用開源了 Yolo V3 算法進行各種視頻數(shù)據(jù)的處理，支持 C#、C++ 調(diào)用；Unity 3D、VS 系列開發(fā)。目前已支持 Yolo 基礎(chǔ) 80 種物體識別、安全帽識別、冰球識別文件等。采用聲網(wǎng)提供的云信令 SDK 進行遠程設(shè)備控制，構(gòu)建群組房間進行消息實時通信，支持通過自定義協(xié)議進行智能硬件的控制。

「Agora Home AI」可以幫助用戶實現(xiàn)可穿戴設(shè)備、智能家具設(shè)備、視頻監(jiān)控設(shè)備接入何控制。包括智能燈光、智能門窗、智能門鎖、智能安防、智能手環(huán)監(jiān)測、智能家電控制等配套產(chǎn)品，讓用戶實現(xiàn)多種品牌的智能設(shè)備在統(tǒng)一的交互平臺內(nèi)互聯(lián)互通、統(tǒng)一管理、智能聯(lián)動。為給用戶創(chuàng)造更舒適、更安全、更節(jié)能的家居生活環(huán)境。

二等獎：Agora FIow

獲得第二名的作品「Agora Flow」是一個基于聲網(wǎng)+環(huán)信 SDK 搭建的音視頻 Low Code Web 共享編輯器。

作品的靈感來源于在使用聲網(wǎng)Agora SDK 的過程中，創(chuàng)作者一直在思考關(guān)于音視頻服務(wù)除了以 SDK 的形式啦哎提供服務(wù)和為開發(fā)者賦能外，還有沒有別的形式呢？Low Code 就是這樣一個可能的解決方案。將音視頻相關(guān)功能進行模塊化集成，提供一個圖形化界面，讓開發(fā)者可以用做 PPT 的形式來完成想要實現(xiàn)的功能。

作品通過聲網(wǎng)的音視頻傳輸及云信令 SDK 產(chǎn)品，提供了基于 Web 的集成了 RTC Chat SDK 的模版工程，通過 CodeGen 來生成配置項。實現(xiàn)了在線流程圖編輯器 Low Code 項目的自動生成。作品中的一切的操作幾乎都可以通過拖拽來完成。

有開發(fā)者開玩笑說，這次的大賽作品很多都是開發(fā)了一個 App，而「Agora Flow」則是做了一個幫助開發(fā)者能更好開發(fā) App 的項目。

三等獎：都市探險家

「都市探險家」項目是一款利用地圖 LBS + 云信令 SDK + 實時音視頻構(gòu)建的社交產(chǎn)品。這款產(chǎn)品為想要尋找共同愛好的新朋友并一起在都市進行旅游、探索的小伙伴而設(shè)計。

產(chǎn)品的使用十分簡單便捷，用戶注冊登錄后，通過 LBS 地圖會自動更新用戶所在位置，只要點擊“發(fā)起任務(wù)”并選擇“探險”人數(shù)，用戶就可以與小伙伴進行一次全新的都市探險啦。

對于 RTE 場景而言，產(chǎn)品中實現(xiàn)了多人語聊房場景。并且，通過云信令 SDK 的使用結(jié)合了實際的業(yè)務(wù)場景，對于當(dāng)下的語聊房場景進行了拓展。 產(chǎn)品未來也會接入視頻聊天的功能，讓沒有辦法即時出行的小伙伴也能共同參與到城市的探險當(dāng)中。

環(huán)信專項獎：忘憂館

「忘憂館」是一個很有溫度的作品，希望可以幫助現(xiàn)代生活中的人們通過彼此傾訴忘掉煩惱、解除憂愁，傳播正能量。

這是一款陌生人社交 App，包含信息流。結(jié)合了幾種最常見的社交產(chǎn)品形態(tài)，包括文字聊天，通話等等。讓一些不方便與親人和朋友訴說的煩惱，可以在和陌生人交流時找到共鳴與安慰。

優(yōu)秀獎：Vchat

「Vchat」利用人臉骨骼識別和云信令 SDK 實現(xiàn)了虛擬 3D 角色的實時通話。使用 tensorflow.js 的 WebGL 引擎作為后端，使用現(xiàn)有開源的人臉識別模型通過攝像頭識別人臉的位置以及五官的狀態(tài)。再通過 Three.js 和 Vrm.js 將人臉數(shù)據(jù)實時更新到虛擬的 3D 模型上。

在視頻部分，通過實時消息 RTM SDK 將人臉骨骼數(shù)據(jù)實時傳輸?shù)筋l道中讓其他用戶訂閱還原人臉。而語音部分則是通過 RTC SDK 將聲音進行實時傳輸并讓用戶進行訂閱。可實現(xiàn)同步換臉、變聲聊天等功能。

除了上述的「Vchat」以外，還有「靈動課堂答題組件」、「Agora X-Runtime」、「Weln」、「歡信（bla-bla.app)」、「智能AR毛筆臨摹教學(xué)系統(tǒng)/CopyTeachWorks」作品獲得了此次大賽“應(yīng)用創(chuàng)新賽道”的優(yōu)秀獎。關(guān)于這些優(yōu)秀的作品可能沒有辦法在這里跟大家一一呈現(xiàn)，感興趣的小伙伴可以前往我們的 Github 倉庫進行查看：

https://github.com/AgoraIO-Community/RTE-2021-Innovation-Challenge/tree/master/Application-Challenge

技術(shù)創(chuàng)新賽道

技術(shù)創(chuàng)新專項獎：人臉識別

「技術(shù)創(chuàng)新專項獎」是為“技術(shù)創(chuàng)新賽道”專門設(shè)置的一個獎項。獲獎作品是一個在 iOS 平臺上使用使用 AgoraEngineKit2 開發(fā)接入一個基于 C++ 語言封裝的「人臉識別」插件。

作品通過 TYSMExtensionManger 類與對外交互，對內(nèi)則處理插件實現(xiàn)的相關(guān)邏輯。將 IExtensionProvider、IVideoFilter 和自己的開發(fā)的 Processer 都放在同一個地方。用 framework 方式對外公開兩個文件，既方便開發(fā)者查閱，同時也可作為作為參數(shù)傳遞，增強代碼可閱讀性。 

該插件可以支持人臉檢測、追蹤、以及多臉的追蹤識別，對臉部輪廓、眼睛、眉毛、鼻子、嘴巴等識別到的區(qū)域以 3D 點狀作出反饋。

優(yōu)秀獎：Water Mask

「Water Mask」項目是“技術(shù)賽道”中的參賽作品，通過在聲網(wǎng) SDK 的視頻采集或者播放環(huán)節(jié)，在 YUV 域上或者編碼后添加圖片或文字類型的隱性水印。

隱性水印(盲水印)添加后，用戶不能直接看到視頻中的水印信息。在保護視頻發(fā)布者版權(quán)的同時，也保障了用戶的視頻觀看體驗。未來，「Water Mask」還希望在音頻處理上，可以擴展聲紋水印，在視頻版權(quán)追溯、認(rèn)證防偽等場景為行業(yè)帶來更多、更好的體驗。

---

以上就是本屆 「RTE 2021 編程挑戰(zhàn)賽」的部分獲獎作品及團隊情況。關(guān)于本次挑戰(zhàn)賽的更多作品情況將開源在 Github，感興趣的小伙伴可前往進行查看：

https://github.com/AgoraIO-Community/RTE-2021-Innovation-Challenge

獲獎團隊除了會得到本季度大賽獎金，還可以申請進入聲網(wǎng)Agora 招聘綠色通道，以及在一年內(nèi)享受創(chuàng)業(yè)支持計劃的福利，具體可【閱讀原文】進行查看。