随着医学影像、AR/VR、具身智能和边缘人工智能等领域快速发展，如何从有限、不完整的观测数据中高效重建完整信号，正在成为智能系统走向真实应用的重要问题。例如，低剂量CT成像需要在减少扫描次数和辐射剂量的同时保持影像质量；AR/VR和三维内容需要根据有限视角快速恢复三维场景；机器人和具身智能系统则需要在有限感知条件下理解周围环境。然而，现有神经场重建模型通常需要大量神经网络前向推理，在传统数字计算平台上仍面临计算量大、能耗高和实时性不足等瓶颈。一方面，冯·诺依曼架构中存储与计算单元分离，造成大量数据搬移；另一方面，神经场模型对权重精度和并行矩阵运算具有较高要求，传统硬件难以同时满足高精度、低延迟和低功耗需求。
围绕上述问题，南方科技大学王中锐课题组联合香港大学齐晓娟教授、中科院微电子所尚大山研究员、复旦大学刘琦教授、刘明院士、香港科技大学郑光廷教授等合作团队，提出了一种基于忆阻器存算一体的高效神经场重建系统。研究团队将神经场隐式表示与忆阻器存算一体硬件相结合，并引入高斯编码、硬件感知量化、低秩分解、结构化剪枝和硬件感知超参数优化等软硬件协同方法，用于实现从稀疏观测到医学影像、三维场景和动态视觉信息的高效重建。相关成果以“Efficient and accurate neural field reconstruction using resistive memory”为题，在线发表于 Nature。
该系统的核心思想是将神经场重建中的关键计算过程映射到忆阻器存算一体硬件中完成。神经场通过神经网络学习连续函数，将空间或时空坐标映射为图像强度、颜色和密度等信号值，从而以更紧凑的方式表示复杂医学影像和三维场景。忆阻器单元则以电导形式存储神经网络权重，并在阵列中直接完成并行矩阵运算，从而缓解传统计算架构中数据搬移带来的能耗和延迟问题。
与单纯的软件模型压缩或硬件加速不同，该研究强调“算法—器件—电路—架构”的协同设计。在算法层面，研究团队采用低秩分解和结构化剪枝降低神经场模型参数量，并通过硬件感知超参数优化方法，将网络结构、压缩比例、量化位宽和比特权重比例等因素纳入统一优化框架，使模型能够主动适应真实硬件约束。在编码层面，团队利用忆阻器写入过程中的本征随机性构建高斯编码模块，将器件随机波动转化为有用的物理随机资源，用于增强神经场对高频细节和复杂空间特征的表达能力。在权重映射层面，团队提出硬件感知量化方法，并结合可变电流乘法放大电路，逐步补偿忆阻器写入误差，实现更高精度的多比特权重计算。
图1展示了该研究提出的跨层级协同优化框架。该系统从表示、算法、架构和电路多个层面进行设计：在表示层面采用神经场描述连续信号，在算法层面通过模型压缩降低计算复杂度，在架构层面利用忆阻器存算一体减少数据搬移，在电路层面通过随机高斯编码和高精度权重映射提升计算效率和重建质量。
图1 面向稀疏信号重建的忆阻器存算一体神经场系统跨层级协同设计
图2展示了硬件感知量化方法。由于忆阻器件在写入过程中不可避免地存在随机波动，如果简单地将神经网络权重直接写入阵列，实际电导值可能偏离目标值，从而降低神经场重建质量。研究团队提出的硬件感知量化方法不是采用传统的“先量化、再写入”方式，而是在每一位权重写入后读取真实电导值，并根据已产生误差动态决定后续比特写入结果，从而逐步补偿器件非理想性。实验结果表明，该方法显著降低了忆阻器写入噪声对矩阵乘法精度的影响。
图2 硬件感知量化方法及其在忆阻器权重映射中的误差补偿机制
图3展示了该系统的硬件架构和电路实现。系统主要包括高斯编码器和MLP处理引擎两个部分。高斯编码器利用忆阻器阵列的随机电导分布对输入坐标进行编码，使神经场能够更好地学习高频细节；MLP处理引擎则利用忆阻器阵列执行多比特矩阵乘法，并通过可变电流乘法放大电路在模拟电流域中完成不同权重比特贡献的放大与累加。研究团队基于40 nm 256 Kb忆阻器存算一体宏单元构建硬件平台，并结合外围模拟和数字模块完成系统验证。
图3 忆阻器存算一体神经场重建系统架构与电路实现
图4展示了系统在3D CT稀疏重建任务中的实验结果。医学影像重建常受到扫描剂量、采集时间和成像成本限制，因此如何从稀疏采样数据中恢复高质量图像具有重要意义。实验结果显示，该系统能够根据有限数量的CT切片恢复较完整的三维医学影像，并较好保留解剖结构和细节信息。基于40 nm 256 Kb忆阻器存算一体宏单元，该系统完成了3D CT稀疏重建任务的硬件验证，并相较GPU实现约23.5倍的折算能效提升。
图4 基于忆阻器存算一体神经场系统的3D CT稀疏重建实验
图5展示了系统在三维场景新视角合成任务中的验证结果。新视角合成是AR/VR、三维内容生成和机器人视觉中的关键技术，目标是根据已有图像生成从其他观察角度看到的场景图像。研究团队将神经辐射场模型映射到忆阻器存算一体硬件中，实现了多个三维场景的新视角合成。在保持较好视觉质量的同时，该系统相较GPU实现约21.0倍的折算能效提升。研究团队还进一步评估了该系统在动态场景新视角合成任务中的应用潜力，结果显示其在处理复杂时空信号方面具有良好的扩展性，并相较GPU实现约32.3倍的折算能效提升。
图5 基于忆阻器存算一体神经场系统的新视角合成评估
实验结果显示，基于40 nm 256 Kb忆阻器存算一体宏单元，该系统完成了3D CT稀疏重建和新视角合成任务的硬件验证，并进一步评估了其在动态场景新视角合成任务中的应用潜力。在保持较好重建质量的同时，该系统相较GPU在三类任务中分别实现了约23.5倍、21.0倍和32.3倍的折算能效提升。
该研究的重要意义不仅在于提升了神经场重建任务的能效和并行度，更在于展示了一种面向未来AI系统的软硬件协同设计范式。神经场提供紧凑、连续的信号表示，忆阻器存算一体硬件提供高并行、低功耗的计算平台，硬件感知量化和专用电路则帮助算法适应真实器件的不完美特性。因此，该工作并不是简单地用新硬件加速已有模型，而是探索了“算法—器件—电路—架构”协同优化的新路径，为高效医学AI、AR/VR、三维视觉和具身智能中的稀疏信号重建提供了重要参考。
本项研究由南方科技大学、香港大学、中科院微电子所、复旦大学、香港科技大学等单位合作完成。第一作者为香港大学博士生於亦非。通讯作者为南方科技大学王中锐教授、香港大学齐晓娟教授、中国科学院微电子研究所尚大山研究员和复旦大学刘琦教授。该研究得到国家自然科学基金、中国科学院-香港地区微电子联合实验室、香港研究资助局优配研究金以及香港InnoHK ACCESS人工智能芯片中心等项目的资助与支持。
