乐鑫科技面向 ESP32、ESP32-S、ESP32-C 等多系列芯片推出深度学习开发库 ESP-DL,为神经网络 (Neural Network, NN) 推理、图像处理、数学运算和深度学习模型提供 API。开发人员通过使用 ESP-DL,能够轻松、快速地基于乐鑫芯片实现高性能的人工智能应用。
目前,据测试数据显示:
分别在 ESP32 和 ESP32-S3 上通过 ESP-DL 运行 16 位检测模型时,ESP32-S3 上的运行速度可达到 ESP32 的 4.5 倍,人脸识别速度更是达到 6.25 倍。此外,ESP32-S3 上 8 位人脸识别模型的运行速度也达到了 16 位模型的 2.5 倍。
ESP-DL 无需任何外围设备,可作为项目组件使用。例如,若将其添加至 esp-who/components/ 目录中,ESP-DL 即可作为 ESP-WHO(包含多个项目级图像应用实例)的一个子组件,实现人脸识别、猫脸检测等图像应用。下图详细展示了 ESP-DL 的组成及其作为项目组件的实现方式。
平台转换
ESP-DL 包含量化和转换等工具,可帮助开发人员将自己的模型(通过第三方平台如 TensorFlow、PyTorch、MXNet 等开发的模型)转换为 8 位 / 16 位模型,通过 ESP-DL 部署在乐鑫芯片上,并评估量化模型的性能。
模型库
ESP-DL 还在模型库中为用户提供了一些开箱即用的模型,如人脸检测、人脸识别、猫脸检测等。颜色检测和手势识别等模型也将在不久后提供。
自定义模型
如果您想要自定义模型,请参考 GitHub 教程“自定义模型的步骤介绍”。该教程包含相关步骤说明和一个可运行的实例,能够帮助您快速、轻松地部署模型。
丰富多样的 API
ESP-DL 拥有丰富的 API 供开发人员使用,如神经网络、图像处理、矩阵运算等,且支持自定义层。
软硬件加速
ESP-DL 支持量化计算,并通过优化汇编代码和 C/C++ 代码架构,提高了软件效率。值得一提的是,ESP32-S3 还拥有向量指令 (vector instructions)、高速 SPI 接口和可配置的高速缓冲存储器,能够为人工智能应用提供更快的 AI 加速功能。