<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          圖神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)的應(yīng)用!

          共 5001字,需瀏覽 11分鐘

           ·

          2021-03-15 21:05

          ↑↑↑關(guān)注后"星標(biāo)"Datawhale

          每日干貨 & 每月組隊(duì)學(xué)習(xí),不錯(cuò)過
           Datawhale干貨 
          內(nèi)容:推薦系統(tǒng)、圖神經(jīng)網(wǎng)絡(luò)

          在“精準(zhǔn)推薦者得民心”的今天,推薦系統(tǒng)已成為各大互聯(lián)網(wǎng)公司的標(biāo)配。但由于現(xiàn)實(shí)中很多數(shù)據(jù)是非歐氏空間生成的(例如,社交網(wǎng)絡(luò)、信息網(wǎng)絡(luò)等),一些復(fù)雜場(chǎng)景下的業(yè)務(wù)需求很難通過協(xié)同過濾等基于歷史行為挖掘用戶或產(chǎn)品相似性的傳統(tǒng)算法來滿足。圖神經(jīng)網(wǎng)絡(luò)作為一種約束性較少、極其靈活的數(shù)據(jù)表征方式,在深度學(xué)習(xí)各主要領(lǐng)域中嶄露頭角,一系列圖學(xué)習(xí)模型涌現(xiàn)并得到越來越多的應(yīng)用。




          網(wǎng)易云音樂在推薦領(lǐng)域的探索



          作為國民級(jí)的音樂App,網(wǎng)易云音樂很久之前就將定位從傳統(tǒng)的音樂工具軟件轉(zhuǎn)移到音樂內(nèi)容社區(qū),致力于聯(lián)結(jié)泛音樂產(chǎn)品與用戶,打造最懂用戶的音樂 App。在音樂內(nèi)容社區(qū)中,直播可以說是用戶參與度極高的場(chǎng)景了,云音樂內(nèi)部投入了大量的人力物力以求將匹配度更高的主播推薦給用戶,但仍然面臨多重嚴(yán)峻的挑戰(zhàn)。


          如何破解歷史行為稀少的用戶冷啟動(dòng)問題



          眾所周知,推薦系統(tǒng)的整體框架主要包括召回、粗排和精排3個(gè)部分。其中,最底層的召回模型具有舉足輕重的作用,而成功的召回推理需要依賴充足的歷史數(shù)據(jù)。但在云音樂的業(yè)務(wù)場(chǎng)景中,通過站內(nèi)廣告看到直播推薦的用戶很大比例是直播功能的新用戶,即沒有產(chǎn)生過觀看直播行為數(shù)據(jù)的用戶。如何向這類數(shù)據(jù)稀疏的用戶推薦合適的內(nèi)容成了亟待解決的難題,這類問題也通常被稱為冷啟動(dòng)。



          大規(guī)模圖模型如何訓(xùn)練?



          云音樂現(xiàn)有計(jì)算資源已全面實(shí)現(xiàn)容器化部署,對(duì)于各個(gè)業(yè)務(wù)團(tuán)隊(duì)來說,計(jì)算資源都是有限的,需要以最高效合理的方式利用有限的資源。如何在有限的分布式資源調(diào)控策略下低本高效地完成大規(guī)模圖神經(jīng)網(wǎng)絡(luò)的模型訓(xùn)練,成為必須攻克的難題。



          PGL圖神經(jīng)網(wǎng)絡(luò)助力推薦場(chǎng)景落地


          為了解決以上問題,網(wǎng)易云音樂的研發(fā)團(tuán)隊(duì)調(diào)研了大量開源方案,最終選擇了對(duì)大規(guī)模圖訓(xùn)練更加友好的百度飛槳分布式圖學(xué)習(xí)框架PGL,作為云音樂的基礎(chǔ)框架。


          基于PGL的行為域知識(shí)遷移解決冷啟動(dòng)問題



          云音樂直播場(chǎng)景的新用戶中,有很多在音樂、歌單、Mlog 等業(yè)務(wù)中產(chǎn)生過較豐富的歷史行為,能否通過將這部分歷史行為知識(shí)映射到直播領(lǐng)域,來解決“行為”數(shù)據(jù)不足的問題呢?

          帶著疑問,云音樂引入了圖模型結(jié)構(gòu),以多種不同類型的實(shí)體(如歌曲、DJ、Query、RadioID 等)為節(jié)點(diǎn),通過用戶與主播、用戶與歌曲、Query與主播等歷史行為關(guān)系,構(gòu)建了一張統(tǒng)一的圖關(guān)系網(wǎng)絡(luò)。

          然后,基于飛槳圖學(xué)習(xí)框架 PGL對(duì)圖模型進(jìn)行訓(xùn)練。先采用 DeepWalk、Metapath2Vec、GraphSage等模型學(xué)習(xí)出足夠強(qiáng)大的Graph Embedding表示來建模實(shí)體ID;再通過向量召回,將用戶在歌曲、Query等處的行為遷移到主播領(lǐng)域,達(dá)到召回合適主播的目的。



          基于PGL通用的分布式能力進(jìn)行訓(xùn)練 


          云音樂的數(shù)據(jù)規(guī)模非常龐大,數(shù)據(jù)關(guān)系即使經(jīng)過裁剪也高達(dá)億級(jí)別以上。在常用的硬件資源配備情況下,此等量級(jí)規(guī)模的數(shù)據(jù)早已成為某些開源的圖神經(jīng)網(wǎng)絡(luò)框架的瓶頸,需要使用極其昂貴的計(jì)算資源才能解決。對(duì)于數(shù)據(jù)規(guī)模必將持續(xù)增大的云音樂來說,相較于使用什么類型的模型,能否在這種數(shù)據(jù)規(guī)模下訓(xùn)練出模型才是優(yōu)先要考慮的關(guān)鍵問題,也是網(wǎng)易云音樂與PGL成功牽手的關(guān)鍵因素!

          百度飛槳深度學(xué)習(xí)平臺(tái)PaddlePaddle 2019年開源的分布式圖學(xué)習(xí)框架PGL,原生支持圖學(xué)習(xí)中較為獨(dú)特的分布式圖存儲(chǔ)(Distributed Graph Storage)和分布式采樣(Distributed Sampling),可以方便地通過上層Python接口,將 圖的特征(如Side Feature等)存儲(chǔ)在不同的Server上,也支持通用的分布式采樣接口,將不同子圖的采樣分布式處理,并基于PaddlePaddle Fleet API來完成分布式訓(xùn)練(Distributed Training),實(shí)現(xiàn)在分布式的“瘦計(jì)算節(jié)點(diǎn)”上加速計(jì)算。這些能力對(duì)云音樂內(nèi)容社區(qū)直播推薦遇到的訓(xùn)練問題來說,極具魅力!

          實(shí)驗(yàn)對(duì)比顯示,在主播推薦場(chǎng)景采用圖計(jì)算帶來有效觀看大幅提升,尤其在新用戶和新主播冷啟動(dòng)上引入其它域數(shù)據(jù)后有了明顯提升。



          更多落地細(xì)節(jié)和實(shí)戰(zhàn)經(jīng)驗(yàn)


          3月16日,網(wǎng)易云音樂機(jī)器學(xué)習(xí)平臺(tái)與框架負(fù)責(zé)人段石石,將在飛槳B站直播間分享深度學(xué)習(xí)實(shí)戰(zhàn)進(jìn)階課程《圖神經(jīng)網(wǎng)絡(luò)在云音樂業(yè)務(wù)落地》。除了上面提到的數(shù)據(jù)稀疏性、冷啟動(dòng)召回和大規(guī)模分布式訓(xùn)練等業(yè)務(wù)難題的解決方案,段老師還將分享云音樂如何應(yīng)對(duì)訓(xùn)練數(shù)據(jù)質(zhì)量、瘦計(jì)算節(jié)點(diǎn)等技術(shù)挑戰(zhàn)。

          3月17日,百度高級(jí)研發(fā)工程師蘇煒躍將分享《飛槳分布式圖學(xué)習(xí)框架PGL及其推薦應(yīng)用》,重點(diǎn)介紹圖學(xué)習(xí)算法的理論基礎(chǔ)、圖學(xué)習(xí)框架PGL的特點(diǎn)和優(yōu)勢(shì);同時(shí)將通過演示經(jīng)典大規(guī)模推薦場(chǎng)景的圖學(xué)習(xí)訓(xùn)練過程,幫助大家快速學(xué)習(xí)和實(shí)現(xiàn)產(chǎn)業(yè)級(jí)的圖模型實(shí)踐。

          掃描下方二維碼,加入技術(shù)交流群

          想了解更多落地細(xì)節(jié)和實(shí)戰(zhàn)經(jīng)驗(yàn),3月16、17日20:10-21:30鎖定AI快車道x網(wǎng)易云音樂直播課,我們不見不散!




          飛槳圖學(xué)習(xí)框架PGL


          PGL是業(yè)界首個(gè)提出通用消息并行傳遞機(jī)制,支持百億規(guī)模巨圖的工業(yè)級(jí)圖學(xué)習(xí)框架。PGL基于飛槳?jiǎng)討B(tài)圖全新升級(jí),極大提升了易用性,原生支持異構(gòu)圖,覆蓋30+圖學(xué)習(xí)模型,包括圖語義理解模型ERNIESage等,歷經(jīng)大量真實(shí)工業(yè)應(yīng)用驗(yàn)證。另外,基于飛槳深度學(xué)習(xí)框架的分布式Fleet API,建立分布式圖存儲(chǔ)及分布式學(xué)習(xí)算法,實(shí)現(xiàn)靈活、高效地搭建前沿的大規(guī)模圖學(xué)習(xí)算法。


          更多資料請(qǐng)關(guān)注


          PGL圖學(xué)習(xí)框架Github代碼倉庫:https://github.com/PaddlePaddle/PGL


          飛槳推薦系統(tǒng):https://github.com/PaddlePaddle/paddlerec


          飛槳分布式:https://github.com/PaddlePaddle/fleetx


          飛槳深度學(xué)習(xí)框架Github代碼倉庫:https://github.com/PaddlePaddle/Paddle


          對(duì)于想要了解圖神經(jīng)網(wǎng)絡(luò)及其分布式應(yīng)用的小伙伴,可以圍觀PGL團(tuán)隊(duì)傾力開發(fā)的圖神經(jīng)網(wǎng)絡(luò)課程,帶你七天高效入門:https://github.com/PaddlePaddle/PGL/tree/main/course


          如感覺不錯(cuò),歡迎“Star”;如需交流,歡迎“Issue”,我們將及時(shí)反饋;如您有基于飛槳的產(chǎn)業(yè)落地案例,歡迎發(fā)送至郵件[email protected]

          “整理不易,點(diǎn)三連
          瀏覽 69
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  亚洲AV成人漫画无码精品网站 | 亚洲区小说区图片区 | 亚洲黄色免费在线 | 亚州a视频 | 狠狠撸|