寒武纪科技

产品技术

寒武纪为人工智能领域提供超高能效的通用智能芯片

寒武纪推理加速引擎 MagicMind

MagicMind是寒武纪全新打造的推理加速引擎,也是业界首个基于MLIR图编译技术达到商业化部署能力的推理引擎。MagicMind支持跨框架的模型解析、自动后端代码生成及优化。用户使用MLU、GPU或者CPU训练好的算法模型,借助MagicMind仅需投入极少的开发成本,即可将推理业务部署到寒武纪全系列产品上,并获得颇具竞争力的性能。

 

MagicMind的优势在于不仅可以提供极致的性能、可靠的精度以及简洁的编程接口,让用户能够专注于业务本身,无需理解芯片更多底层细节就可实现模型的快速高效部署;与此同时,通过MagicMind插件化的设计,还可以满足在性能或功能上追求差异化竞争力的客户需求。

 

MagicMind优势
  • 多种深度学习网络构建方式
    多种深度学习网络构建方式

    支持业界主流的深度学习框架模型,并提供灵活易用的接口逐个算子搭建网络。

  • 训练到推理无缝衔接
    训练到推理无缝衔接

    MagicMind和深度学习框架TensorFlow,PyTorch深度融合,模型训练到推理一键部署。

  • 多种计算精度支持
    多种计算精度支持

    支持FP32、FP16、INT16、INT8等多种计算精度,支持用户指定不同层级计算精度以及定义量化方法细节。

  • 高效的图优化引擎
    高效的图优化引擎

    内部集成了高效的计算图优化引擎,保障用户应用极致性能。

  • 原生支持动态张量输入
    原生支持动态张量输入

    具有完备动态张量表达能力,原生支持任意数据规模的动态张量输入。

  • 丰富的调试调优工具
    丰富的调试调优工具

    丰富的调试调优工具以及相应的文档和指引,便利的调试调优体验。

     

基于MagicMind的MLU370系列产品和GPU性能对比
MLU370-S4:NF5468M6/2x Intel Xeon Gold 6330 CPU @ 2.0GHz/MagicMind v0.6

GPU数据来自于相关产品官网

MLU370-X4:NF5468M6/2x Intel Xeon Gold 6330 CPU @ 2.0GHz/MagicMind v0.6

GPU数据:ResNet-50来自于相关产品官网,Transformer、VGG16、YOLOv3均取自实测最大吞吐性能

MagicMind架构