阿里巴巴技术专家眼中的MNN异构计算解决方案

集微网消息，阿里巴巴淘系技术部端智能团队高级技术专家 姜霄棠在Khronos·芯原技术研讨会上介绍了MNN的异构计算解决方案

姜霄棠表示，MNN 是一个深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。目前，MNN 已经在阿里巴巴的手机淘宝、手机天猫、优酷等 20 多个 App 中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。此外，IoT 等场景下也有若干应用。

MNN分为Converter和Interpreter两部分。

Converter由Frontends和Graph Optimize构成。前者负责支持不同的训练框架，MNN当前支持Tensorflow(Lite)、Caffe和ONNX(PyTorch/MXNet的模型可先转为ONNX模型再转到MNN)；后者通过算子融合、算子替代、布局调整等方式优化图。

Interpreter由Engine和Backends构成。前者负责模型的加载、计算图的调度；后者包含各计算设备下的内存分配、Op实现。在Engine和Backends中，MNN应用了多种优化方案，包括在卷积和反卷积中应用Winograd算法、在矩阵乘法中应用Strassen算法、低精度计算、Neon优化、手写汇编、多线程优化、内存复用、异构计算等。

对于后续规划，姜霄棠表示在几何计算部分将对Fusion Op分解，成本将更低。MNN部分将对前端和后端硬件提供更多的支持，此外，MNN与编译技术相结合未来会应用模型压缩算法。