ElasticRec基于 Kubernetes 的推薦系統(tǒng)解決方案

ElasticCTR 是基于 Kubernetes 的企業(yè)級(jí)推薦系統(tǒng)解決方案，該方案融合了百度業(yè)務(wù)場(chǎng)景下經(jīng)過不斷驗(yàn)證打磨的 CTR 模型、基于飛槳框架的大規(guī)模分布式訓(xùn)練、工業(yè)級(jí)稀疏參數(shù) Serving 組件，幫助用戶在 Kubernetes 環(huán)境中一鍵完成推薦系統(tǒng)架構(gòu)部署，快速搭建和驗(yàn)證 CTR 模型訓(xùn)練和預(yù)測(cè)效果，具備高性能、工業(yè)級(jí)部署、端到端體驗(yàn)及二次深度開發(fā)的特性。 

用戶只需配置數(shù)據(jù)源、樣本格式即可完成一系列的訓(xùn)練與預(yù)測(cè)任務(wù)。

下載安裝命令

## CPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

主要特點(diǎn)如下：

1.快速部署

ElasticCTR 當(dāng)前提供的方案是基于百度云的 Kubernetes 集群進(jìn)行部署，用戶可以很容易擴(kuò)展到其它原生的 Kubernetes 環(huán)境運(yùn)行 ElasticCTR。

2.高性能

ElasticCTR 采用 PaddlePaddle 提供的全異步分布式訓(xùn)練方式，在保證模型訓(xùn)練效果的前提下，近乎線性的擴(kuò)展能力可以大幅度節(jié)省訓(xùn)練資源。在線服務(wù)方面，ElasticCTR 采用 Paddle Serving 中高吞吐、低延遲的稀疏參數(shù)預(yù)估引擎，高并發(fā)條件下是常見開源組件吞吐量的 10 倍以上。

3.可定制

用戶可以通過統(tǒng)一的配置文件，修改訓(xùn)練中的訓(xùn)練方式和基本配置，包括在離線訓(xùn)練方式、訓(xùn)練過程可視化指標(biāo)、HDFS 上的存儲(chǔ)配置等。除了通過修改統(tǒng)一配置文件進(jìn)行訓(xùn)練任務(wù)配置外，ElasticCTR 采用全開源軟件棧，方便用戶進(jìn)行快速的二次開發(fā)和改造。底層的 Kubernetes、Volcano 可以輕松實(shí)現(xiàn)對(duì)上層任務(wù)的靈活調(diào)度策略；基于 PaddlePaddle 的靈活組網(wǎng)能力、飛槳的分布式訓(xùn)練引擎 Fleet 和遠(yuǎn)程預(yù)估服務(wù) Paddle Serving，用戶可以對(duì)訓(xùn)練模型、并行訓(xùn)練的模式、遠(yuǎn)程預(yù)估服務(wù)進(jìn)行快速迭代；MLFlow 提供的訓(xùn)練任務(wù)可視化能力，用戶可以快速增加系統(tǒng)監(jiān)控需要的各種指標(biāo)。