BladeDISC 是阿里巴巴集團(tuán)自主研發(fā)并開源的深度學(xué)習(xí)編譯器，旨在為用戶提供通用、透明、易用的深度學(xué)習(xí)性能優(yōu)化能力。BladeDISC支持主流的機(jī)器學(xué)習(xí)框架，如TensorFlow、PyTorch，支持主流硬件，如GPGPU、CPU 等。BladeDISC在架構(gòu)層面根本地解決了深度學(xué)習(xí)領(lǐng)域具有動(dòng)態(tài)尺寸Tensor的優(yōu)化難題，大大提升了深度學(xué)習(xí)模型的性能，降低了部署的難度。同時(shí)，BladeDISC 還提供了多種靈活的部署方案，包括插件模式集成到Pytorch和TensorFlow運(yùn)行時(shí)，也包括獨(dú)立運(yùn)行與AOT編譯的支持。BladeDISC源于阿里巴巴內(nèi)部諸多的深度學(xué)習(xí)加速場景，也同時(shí)服務(wù)于阿里云上的客戶，在生產(chǎn)中經(jīng)受了廣泛的考驗(yàn)。

功能與支持

前端框架支持情況

后端硬件支持情況

典型模型的加速效果

入門與示例

• How to Setup and Build from Source
• Use Case of TensorFlow Inference and Training
• Use Case of PyTorch Inference

論文發(fā)表

開發(fā)入門

• Tutorial: A Walkthough of the BladeDISC Pass Pipeline
• Introduction on Runtime Abstraction Layer
• TorchBlade Overview
• Tutorial: How to Add a New Torch Operator Converter

演講與文章

• DISC: A Dynamic Shape Compiler for Machine Learning Workload
• Performance optimization practice for dynamic shape AI workloads via a compiler-based approach
• 2022/07/31 BladeDISC: A Practice of Dynamic Shape Deep Learning Compiler(Chinese)
• 2022/07/07 BladeDISC and Torch-MLIR Roadmap Talk on Torch-MLIR Community
• GTC22-S41073, Generalized and Transparent AI Optimization Solutions with AI Compilers from Cloud Service
• GTC22-S41395, Easier-to-use and More Robust TensorRT via PAI-Blade