超越多帧计算：基于单像素弛豫动力学的运动矢量成像芯片
近日，中国科学院大学光电学院孟祥悦研究团队联合广东工业大学、香港理工大学，在类脑视觉与神经形态器件领域取得重要突破，成功研制出一种基于单像素弛豫动力学的新型神经形态视觉芯片，首次实现了仅用单次曝光即可直接获取完整运动矢量信息。该技术被命名为单帧运动矢量成像(Single-Frame Motion Vector Imaging，SF-MVI)，为机器视觉提供了一条跳出“多帧计算”路径的全新思路。
告别“多帧计算”：类脑视觉范式变革
在动态复杂的世界中，运动感知是智能系统做出快速反应的前提。无论是自动驾驶车辆对前方行人的判断，还是机器人在动态环境中的自主决策，都高度依赖对速度、方向和轨迹的实时获取。然而，传统视觉系统必须依赖多帧图像之间的差分计算来“事后推断”运动信息，这一过程本质上存在算力消耗大、响应滞后的结构性缺陷。“现有机器视觉更像是翻阅连续的照片来猜测一个人的跑步速度，不仅处理延迟高、功耗巨大，而且在目标高速运动或被遮挡时极易出错。”项目负责人孟祥悦教授形象地解释道，“而人类和动物的视觉系统并不是这样工作的。我们的视网膜本身就具备时间整合和记忆能力，很多运动信息在‘看见’的同时就已经被编码了。”正是基于这一生物视觉启发，研究团队提出了单像素弛豫动力学成像的新范式。在这一架构中，像素不再只是被动记录光强，而是具备类似“记忆”的时间响应特性：当像素受到光刺激时，其内部电信号迅速建立；当光信号消失后，电流并不会瞬间归零，而是按照特定时间常数逐渐衰减。物体在像素阵列中运动的过程，会在单次曝光内以不同衰减程度“刻写”出一条清晰的时空轨迹。通过解析这一单帧图像中隐含的光电流梯度和弛豫曲线，系统即可直接反推出运动方向、速度，甚至进一步得到加速度和角速度等高阶运动参数，实现真正意义上的“一帧即全信息”。
图1运动矢量成像芯片和传统CMOS成像芯片对比
铋卤化物离子半导体：铸就芯片的“智能感官”
实现这一原理的关键，在于创造出一个能完美模拟这种“带记忆的感官”的器件。研究团队将目光投向了新一代铋卤化物离子半导体，并通过声子工程对其晶格动力学进行精细调控，成功设计并合成了一种新型离子半导体材料(3BPA)3Bi2I6Br3。通过强化其内部原子振动的耦合并抑制热量散失，该材料实现了独特的光热电响应。与传统半导体不同，该材料具有极软的晶格结构和强烈的声子非谐性。其内部声学声子与光学声子之间存在显著耦合，使得晶格热导率被压低至约0.15 W·m-1·K-1。这种“抑制散热”的特性，使得光照产生的局域升温更容易在器件内部形成稳定温度梯度，从而触发显著的光热电效应。更关键的是，光热效应与离子迁移过程相互耦合，使得器件在受光后呈现出类似生物突触的可塑性光电响应：电信号可在秒级时间尺度内持续存在并缓慢衰减，天然具备时间编码能力。这一机制不仅支持从可见光到近红外（450–1342 nm）的宽谱探测，还为单帧运动信息的物理映射提供了坚实基础。基于这种革命性材料，团队成功制备出由4096个此类“智能像素”构成的64×64规模神经形态视觉芯片。测试表明，该芯片不仅像素间性能高度均匀，更在部分遮挡的严苛条件下，依然能通过红外成像稳定追踪目标，展现了卓越的环境鲁棒性。
图2运动矢量成像芯片的架构
成像效能飞跃：数据压缩300倍，把“计算”前移到“感知”端
在系统层面，SF-MVI芯片带来的性能提升同样引人注目。实验表明，该芯片仅需传统视觉系统约 1/300 的数据量，即可完成对运动方向和速度的高精度识别。这意味着，数据传输压力、存储需求以及后端算力消耗都被显著削减。更重要的是，由于运动信息在曝光结束的瞬间已以内在物理形式编码完成，其感知延迟不再受限于帧率和算法复杂度，而主要由像素自身的物理响应时间决定，为高速、突发场景下的实时决策提供了可能。“这不是一次简单的性能优化，而是一次架构层面的改变。”孟祥悦教授表示，“我们把原本需要在‘大脑’中完成的大量计算，前移到了‘眼睛’本身。这种感、存、算一体化的视觉模式，是实现真正实时智能感知的关键一步。”
图3单帧运动矢量成像算法
应用前景：面向自动驾驶与具身智能的未来之眼
凭借单帧即可获取运动矢量的独特能力，单帧运动矢量成像SF-MVI芯片技术在自动驾驶、无人系统、具身智能机器人等领域展现出广阔应用前景。它有望显著提升车辆和机器在复杂动态环境中的反应速度与安全性，同时降低系统能耗，为边缘智能和低功耗 AI 提供全新硬件基础。目前，研究团队正进一步推进器件规模化制备、阵列分辨率提升以及系统级集成研究，加速这一前沿技术从实验室走向实际应用。
类脑视觉交叉研究团队：诚邀优秀本科生与研究生共探前沿
孟祥悦，中国科学院大学光电学院副教授，2016至2020年期间先后在香港及日本深造，2020年加入中国科学院大学后，牵头建立半导体光电子实验室，为类脑视觉领域研究搭建了完备的软硬件支撑体系，积累了扎实的前期研究基础。（一）完备的实验平台支撑：团队依托具身智能计算北京市重点实验室，配备全套国际先进的材料制备与表征平台，核心设备涵盖百级/千级超净间、高性能手套箱、多源热蒸镀仪、激光直写光刻机、CMOS芯片成像测试系统、扫描电子显微镜（SEM）、X射线衍射仪（XRD）、精密半导体参数分析仪（FS-pro）及探针台等。所有设备均保持良好运行状态，建立了标准化日常维护体系，为项目开展提供稳定、高效的硬件保障。（二）深厚的前期研究积淀：深耕新型离子半导体光电材料设计、高性能光电器件（光电探测器、太阳能电池）制备及神经形态器件研究，形成了从材料研发到系统集成的全链条研究能力。团队已取得系列创新性成果，在《Science Bulletin》《Nature Communications》《Advanced Materials》等国际顶级期刊发表多篇高水平SCI论文，同时申请多项相关发明专利。在材料设计、微纳加工、电路设计、成像算法等关键环节，团队具备深厚技术储备与丰富实践经验，为项目顺利推进筑牢根基。（三）高素质交叉学科团队：课题组由副教授、博士后及多名博/硕士研究生组成，成员专业背景覆盖集成电路、人工智能、光学工程、材料科学、物理学、电子信息等多个领域，构建了知识结构互补、分工明确、梯次合理的多学科交叉研究梯队。团队可高效支撑从半导体材料研发、集成电路芯片设计到机器视觉成像算法优化的全链条研究需求，具备强大的协同创新能力。
图4 类脑视觉感知的多学科交叉探索
这一成果近期发表在Science Bulletin上，文章的第一作者是中国科学院大学博士研究生王浩。通讯作者为中国科学院大学光电学院孟祥悦教授、广东工业大学黄乐教授和香港理工大学柴扬教授。
