Lightseq用于序列處理和生成的高性能庫

LightSeq 是一個(gè)高性能的訓(xùn)練和推理庫，用于在 CUDA 中實(shí)現(xiàn)序列處理和生成。它可以高效計(jì)算現(xiàn)代 NLP 模型，例如BERT、GPT、 Transformer等。因此，它最適用于機(jī)器翻譯、文本生成、對話、語言建模、情感分析和其他具有序列數(shù)據(jù)的相關(guān)任務(wù)。

該庫建立在 CUDA 官方庫（cuBLAS、Thrust、CUB）和自定義內(nèi)核函數(shù)之上， 這些函數(shù)專門為 Transformer 模型系列融合和優(yōu)化。除了模型組件，推理庫還提供了基于 TensorRT 推理服務(wù)器的易于部署的模型管理和服務(wù)后端 。使用 LightSeq，只需少量額外代碼即可輕松開發(fā)修改后的 Transformer 架構(gòu)。

特征

以下是 LightSeq 訓(xùn)練庫支持的矩陣與 DeepSpeed 對比。

以下是 LightSeq 推理庫支持矩陣與 TurboTransformers 和 FasterTransformer 的對比。