ONNX Runtime機(jī)器學(xué)習(xí)模型的加速器

ONNX Runtime 是一個(gè)跨平臺的推理和訓(xùn)練機(jī)器學(xué)習(xí)加速器。

ONNX Runtime 推理可以實(shí)現(xiàn)更快的客戶體驗(yàn)和更低的成本，支持PyTorch和TensorFlow/Keras等深度學(xué)習(xí)框架的模型，以及scikit-learn、LightGBM、XGBoost等經(jīng)典機(jī)器學(xué)習(xí)庫。ONNX運(yùn)行時(shí)與不同的硬件、驅(qū)動程序和操作系統(tǒng)兼容，并通過利用硬件加速器（如適用）以及圖形優(yōu)化和轉(zhuǎn)換，提供最佳性能。了解更多信息→

ONNX Runtime 訓(xùn)練可以通過對現(xiàn)有 PyTorch 訓(xùn)練腳本的一行添加來加快 Transformer 模型在多節(jié)點(diǎn) NVIDIA GPU 上的模型訓(xùn)練時(shí)間。

特性：

• 內(nèi)置優(yōu)化，可提供高達(dá) 17 倍的推理速度和高達(dá) 1.4 倍的訓(xùn)練速度
• 支持多種框架、操作系統(tǒng)和硬件平臺
• 在 Office 365、Visual Studio 和 Bing 中使用，每天提供半萬億次推理

ONNX Runtime 推理的示例用例包括：

• 提高各種 ML 模型的推理性能
• 在不同的硬件和操作系統(tǒng)上運(yùn)行
• 在 Python 中訓(xùn)練但部署到 C#/C++/Java 應(yīng)用程序中
• 使用在不同框架中創(chuàng)建的模型訓(xùn)練和執(zhí)行推理