DeepRec稀疏模型業(yè)務(wù)場(chǎng)景的訓(xùn)練/預(yù)測(cè)引擎
DeepRec 是基于 TensorFlow1.15, Intel-TensorFlow和NVIDIA-TensorFlow之上構(gòu)建的針對(duì)搜索、推薦、廣告場(chǎng)景的訓(xùn)練、推理引擎。
背景
稀疏模型，是指在模型結(jié)構(gòu)中離散特征計(jì)算邏輯占比較高的一類深度學(xué)習(xí)模型的統(tǒng)稱。離散特征通常表現(xiàn)為id、tag、文字、詞組等算法不能直接處理的非數(shù)值化特征，其廣泛應(yīng)用于搜索、廣告、推薦等高價(jià)值業(yè)務(wù)中。
DeepRec(PAI-TF) 作為阿里巴巴集團(tuán)統(tǒng)一的稀疏模型業(yè)務(wù)場(chǎng)景的訓(xùn)練/預(yù)測(cè)引擎，支持了淘寶搜索、猜你喜歡、定向廣告、直通車廣告等核心業(yè)務(wù)，支撐著千億特征、萬(wàn)億樣本超大規(guī)模的稀疏訓(xùn)練。積累了核心的稀疏場(chǎng)景的功能及性能優(yōu)化。針對(duì)稀疏模型在分布式、圖優(yōu)化、算子、Runtime等方面進(jìn)行了深度的性能優(yōu)化，同時(shí)提供了稀疏場(chǎng)景下特有的Embedding相關(guān)的功能。
DeepRec項(xiàng)目從2016年開發(fā)至今，由阿里巴巴集團(tuán)內(nèi)AOP團(tuán)隊(duì)、XDL團(tuán)隊(duì)、PAI團(tuán)隊(duì)、RTP團(tuán)隊(duì)以及螞蟻集團(tuán)AIStudio Infra團(tuán)隊(duì)等共建，并且得到了首猜、主搜、廣告等算法團(tuán)隊(duì)的支持。DeepRec是NVIDIA、Intel相關(guān)深度學(xué)習(xí)團(tuán)隊(duì)合作共建項(xiàng)目。
關(guān)鍵功能
DeepRec支持超大分布式訓(xùn)練的能力，支持著阿里巴巴集團(tuán)內(nèi)部千億特征、萬(wàn)億樣本的超大規(guī)模的訓(xùn)練場(chǎng)景，針對(duì)搜索、推薦、廣告場(chǎng)景進(jìn)行了定制的深度優(yōu)化，主要包含以下三類的優(yōu)化：
稀疏功能
- 動(dòng)態(tài)彈性特征（Embedding Variable）
- 動(dòng)態(tài)彈性維度（Dynamic Dimension Embedding Variable）.
- 自適應(yīng)動(dòng)態(tài)彈性特征（Adaptive Embedding Variable）.
- 多Hash Variable（Multiple Hash Embedding Variable）.
- EmbeddingVariable多級(jí)混合存儲(chǔ)（Multi-tier Hybrid Embedding Storage）.
性能優(yōu)化
- 分布式訓(xùn)練優(yōu)化，包括grpc+seastar，F(xiàn)useRecv，StarServer，HybridBackend等等。
- Runtime優(yōu)化，包括內(nèi)存分配器（PRMalloc），顯存分配器，基于cost-model和關(guān)鍵路徑的執(zhí)行引擎等.
- 算子優(yōu)化，包括BF16混合精度優(yōu)化，稀疏算子優(yōu)化，算子的GPU/CPU實(shí)現(xiàn)等.
- 圖優(yōu)化，包括自動(dòng)子圖融合（AutoGraphFusion），自動(dòng)流水線（SmartStage），結(jié)構(gòu)化特征（StructureFeature），MicroBatch等.
- 編譯優(yōu)化，支持BladeDISC，XLA等.
部署及推理
- 增量模型導(dǎo)出及加載.
- 超大模型分布式Serving.
- 超大模型多級(jí)混合存儲(chǔ)Serving支持.
- 在線深度學(xué)習(xí)支持.
- 高性能Serving框架SessionGroup支持.