TurboTransformersTransformer 加速工具

TurboTransformers 來自于深度學習自然語言處理基礎平臺 TencentNLP Oteam，旨在搭建統(tǒng)一的深度學習 NLP （Natural Language Processing，自然語言處理）基礎平臺、提升研發(fā)效能。

特性：

• 優(yōu)異的 CPU/GPU 性能表現(xiàn)。面向 Intel 多核 CPU 和 NVIDIA GPU 硬件平臺，通過核心融合和并行算法優(yōu)化，TurboTransformers 充發(fā)揮硬件的各層級并行計算的能力。在多種 CPU 和 GPU 硬件上獲得了超過 PyTorch/TensorFlow 和目前主流優(yōu)化引擎（如 onnxruntime-mkldnn/onnxruntime-gpu、torch JIT、NVIDIA faster transformers）的性能表現(xiàn)。
• 為 NLP 推理任務特點量身定制。TurboTransformers 可以支持變長輸入序列處理，無需序列補零、截斷或者分桶帶來的無用計算，也無需任何針對計算圖在推理前進行預調優(yōu)的過程。
• 簡單的使用方式。TurboTransformers 支持 Python 和 C++ 接口進行調用。TurboTransformers 支持 TensorFlow 和 PyTorch 預訓練模型的載入。它可以作為 huggingface/transformers 的推理加速插件，通過加入幾行 Python 代碼獲得對 BERT 模型的端對端加速效果。