PaddlePALMNLP 大規(guī)模預(yù)訓(xùn)練和多任務(wù)學(xué)習(xí)框架

PaddlePALM (PArallel Learning from Multi-tasks) 是一個靈活，通用且易于使用的 NLP 大規(guī)模預(yù)訓(xùn)練和多任務(wù)學(xué)習(xí)框架。 PALM 是一個旨在快速開發(fā)高性能 NLP 模型的上層框架。

## CPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

使用 PaddlePALM，可以非常輕松靈活地探索具有多種任務(wù)輔助訓(xùn)練的“高魯棒性”閱讀理解模型。

除了降低 NLP 研究成本以外，PaddlePALM 已被應(yīng)用于“百度搜索引擎”，有效的提高了用戶查詢的理解準(zhǔn)確度和挖掘出的答案質(zhì)量，具備高可靠性和高訓(xùn)練/推理性能。

特點(diǎn):

• 易于使用：使用 PALM， 8 個步驟即可實現(xiàn)一個典型的 NLP 任務(wù)。此外，模型主干網(wǎng)絡(luò)、數(shù)據(jù)集讀取工具和任務(wù)輸出層已經(jīng)解耦，只需對代碼進(jìn)行相當(dāng)小的更改，就可以將任何組件替換為其他候選組件。
• 支持多任務(wù)學(xué)習(xí)：6 個步驟即可實現(xiàn)多任務(wù)學(xué)習(xí)任務(wù)。
• 支持大規(guī)模任務(wù)和預(yù)訓(xùn)練：可自動利用多 gpu 加速訓(xùn)練和推理。集群上的分布式訓(xùn)練需要較少代碼。
• 流行的NLP骨架和預(yù)訓(xùn)練模型：內(nèi)置多種最先進(jìn)的通用模型架構(gòu)和預(yù)訓(xùn)練模型（如 BERT、ERNIE、RoBERTa 等）。
• 易于定制：支持任何組件的定制開發(fā)（e.g 主干網(wǎng)絡(luò)，任務(wù)頭，讀取工具和優(yōu)化器）與預(yù)定義組件的復(fù)用，這給了開發(fā)人員高度的靈活性和效率，以適應(yīng)不同的 NLP 場景。

你可以很容易地用較小的代碼重新得到很好的結(jié)果，涵蓋了大多數(shù) NLP 任務(wù)，如分類、匹配、序列標(biāo)記、閱讀理解、對話理解等等。