寒武纪为人工智能领域提供高能效的通用智能芯片
MagicMind是寒武纪全新打造的推理加速引擎,也是业界首个基于MLIR图编译技术达到商业化部署能力的推理引擎。MagicMind支持跨框架的模型解析、自动后端代码生成及优化。用户使用MLU、GPU或者CPU训练好的算法模型,借助MagicMind仅需投入极少的开发成本,即可将推理业务部署到寒武纪全系列产品上,并获得颇具竞争力的性能。
MagicMind的优势在于不仅可以提供极致的性能、可靠的精度以及简洁的编程接口,让用户能够专注于业务本身,无需理解芯片更多底层细节就可实现模型的快速高效部署;与此同时,通过MagicMind插件化的设计,还可以满足在性能或功能上追求差异化竞争力的客户需求。
支持业界主流的人工智能框架模型,并提供灵活易用的接口逐个算子搭建网络。
MagicMind和人工智能框架TensorFlow,PyTorch深度融合,模型训练到推理一键部署。
支持FP32、FP16、INT16、INT8等多种计算精度,支持用户指定不同层级计算精度以及定义量化方法细节。
内部集成了高效的计算图优化引擎,保障用户应用极致性能。
具有完备动态张量表达能力,原生支持任意数据规模的动态张量输入。
丰富的调试调优工具以及相应的文档和指引,便利的调试调优体验。
GPU数据来自于相关产品官网
MLU370-X4:NF5468M6/2x Intel Xeon Gold 6330 CPU @ 2.0GHz/MagicMind v0.6
GPU数据:ResNet-50来自于相关产品官网,Transformer、VGG16、YOLOv3均取自实测最大吞吐性能