近日，南方科技大学微电子学院周菲迟团队在宽视场单目三维感知计算取得重要突破。相关研究成果以“Wide field-of-view anisotropic optoelectronic resistive memory for monocular in-sensor 3D motion perception and localization system”为题发表于Nature Communications。该研究首次提出一种宽视场各向异性光控阻变存储器（AORRAM），能够在传感器内实现原位的宽视场运动感知与深度估计，并进一步构建了紧凑、低功耗的宽视场单目三维运动感知与定位系统，为无人机、自动驾驶等边缘智能设备提供了高性能的三维视觉感知新方案。
对于需要大视野的三维感知任务，传统方案常会采用广角（甚至鱼眼）镜头的双目（或多目）相机，并需要强大的后端计算硬件来处理复杂的三维视觉算法，存在体积庞大、能耗高、延迟大等固有瓶颈。尽管新兴的神经形态感内计算方案展现出潜力，现有神经形态视觉器件在三维感知计算方面存在根本性局限：在三维到二维投影过程中丢失深度信息、探测角度窄，且缺乏本征的三维运动处理能力。因此，迫切需要一种能同时集成宽视场感知、深度估计与3D运动处理能力的神经形态视觉器件，以及配套协同设计的系统算法。
受鹰眼宽视场、高效三维感知与运动追踪能力的启发，团队设计并制备了一种宽视场（140°）、各向异性的光控阻变存储器，基于具有轴向氧空位浓度梯度的氧化锌纳米线阵列。在此基础上，团队在统一硬件平台上构建了三维感知与运动定位系统，成功模拟了鹰眼的卓越视觉感算功能（图1）。
图1 宽视场（Wide-FOV）单目三维（3D）运动感知系统
图2 AORRAM器件在45°光照角度下的非易失多级光控阻变存储特性
图3 AORRAM器件各向异性光存储行为及物理机制
利用器件独特的各向异性感知能力，研究团队构建了传感器内单目运动深度感知与定位硬件原型，无需复杂的双目视觉算法，系统可根据单一器件的不同输出，实时确定运动目标的距离（L）与方位角（θ），进而精确获取目标的深度信息（d = L cosθ）及位置信息（x=L sinθ, d）（图4）。实验演示中，系统成功追踪了模拟鸟类目标以不同速度、从不同角度接近无人机的全过程，并生成了高精度的深度与定位图谱。
图4 基于AORRAM器件的单目运动深度感知与定位硬件原型
为进一步实现高噪声、复杂场景下的3D运动识别，研究团队将AORRAM阵列与门控循环单元（gated recurrent unit, GRU）集成，构建了高鲁棒的Wide-FOV 3D运动感知与识别系统（图5）。系统中，AORRAM阵列同时执行宽视场深度感知与2D空间成像，GRU网络则负责处理时序数据以识别运动模式。在包含12种不同运动场景（不同物体大小、速度、方向）的测试中，该系统在模拟环境噪声、器件噪声及电路噪声的干扰下，依然实现了95.41%的识别准确率，显著优于无时序记忆功能的传统人工神经网络。该研究提出的AORRAM器件与系统，在功耗、延迟与系统紧凑性方面较传统3D机器视觉系统展现出显著优势，有望推动下一代紧凑型、高能效3D智能视觉系统在无人机自主导航、敏捷机器人及实时环境交互等领域的应用。
图5 3D运动感知与识别系统
南方科技大学博士后王珍、江碧怡为论文第一作者，周菲迟为通讯作者。南方科技大学为论文第一单位。该研究得到了国家重点研发计划、国家自然科学基金、深圳市科技计划等项目支持。
