南科大林龙扬课题组在ISSCC 2026发表两项智能视觉芯片研究成果

来源:南方科技大学深港微电子学院 #ISSCC# #芯片# #南科大#
1774

近日,国际固态电路大会(ISSCC 2026)在美国旧金山举行。ISSCC被学术界和工业界公认为集成电路设计领域的最高水平会议,享有“芯片奥林匹克大会”之美誉。该会议始于1953年,历来是国际最尖端集成电路技术的首发平台,每年吸引超过3000名来自全球工业界与学术界的参会者,每篇录用的论文均代表了芯片领域最前沿的研究成果。

南方科技大学深港微电子学院林龙扬课题组在智能视觉芯片方向取得重要进展,两项最新研究成果入选ISSCC 2026。其中一篇为面向边缘智能视觉应用的“感存算一体”智能视觉SoC芯片,题为“A 55nm Intelligent Vision SoC Achieving 346TOPS/W System Efficiency via Fully Analog Sensing-to-Inference Pipeline”,由南科大联合犀灵视觉、睿科微电子共同研发。另一篇为面向航天场景的自修复图像传感器芯片,题为“A Radiation-Hardened Self-Healing CMOS Imager with Online Pixel/Logic Annealing and Tile-Adaptive Compression for Space Applications”。林龙扬助理教授为两篇论文的通讯作者,南方科技大学深港微电子学院为第一通讯单位。两项工作分别攻克了边缘视觉系统中的模数转换能效瓶颈及太空任务中的辐射损伤与通信带宽瓶颈,实现了智能视觉芯片技术的突破性创新。

以上研究得到了国家自然科学基金、广东省项目、南科大-犀灵视觉联合实验室以及南科大-存厚科技联合实验室的支持。

论文1:全模拟端到端智能视觉芯片,打破模数转换能效瓶颈

随着人工智能的发展,能够处理特征提取、目标检测等复杂任务的边缘AI视觉系统需求日益增长。传统的智能视觉芯片多采用传感器与数字处理器芯片堆叠的架构,虽在一定程度上缓解了数据传输压力,但仍严重依赖功耗极高的模数转换器(ADC)。为突破功耗瓶颈,学术界曾提出“传感器内”(in-sensor)或“近传感器”(near-sensor)计算技术,但现有方案往往只能处理特定任务,受限于存储容量与硬件固化,难以支持复杂的卷积神经网络。更严峻的是,在处理多层神经网络时,计算节点之间频繁的模数/数模信号转换带来了巨大的延迟与能耗开销,已成为制约边缘视觉芯片迈向高算力与高能效的核心技术瓶颈。

图1:智能视觉处理范式对比与本文亮点

为此,本研究提出了一种基于“全模拟”计算范式的多功能智能视觉SoC芯片(图1、图2),彻底消除了端到端视觉任务中传感器与计算单元之间、以及神经网络各层之间的模数转换操作。芯片创新性地将脉宽调制图像传感器与基于阻变存储器(RRAM)的存算一体架构深度融合,并引入核心模块—带有内置电压-时间转换器和线性恢复能力的模拟存储电路(LR-AMEM)。在运行多层网络时,传感器输出的时间脉冲直接驱动存算阵列,计算所得的电压被存入模拟存储单元;随后,存储器内置的转换电路将电压无缝还原为时间脉冲,直接驱动下一层计算。这种“时间-电压-时间”的纯模拟信号流,不仅规避了高功耗的模数转换与量化噪声,还利用底层电路特性有效抵消了电荷域RRAM模拟存算中固有的非线性误差,并在不增加额外校准电路的前提下,实现了对工艺偏差、环境温度和电压波动的强鲁棒性。

图2. 全模拟域智能视觉SoC芯片架构图

该方案采用55nm CMOS工艺进行了流片验证(图3)。实测数据显示,该芯片实现了11 pJ/(像素·帧)的极低传感能耗,乘加运算峰值能效高达8,791 TOPS/W,系统级端到端能效达到346 TOPS/W,能够高效、低延迟地完成从特征提取、图像分类及目标检测等多种边缘视觉任务。与现有的智能图像传感器相比,这颗全模拟视觉芯片的系统级能效提升了75.6倍至966倍。该成果充分验证了全模拟信号链路在边缘端复杂视觉计算中的可行性与巨大潜力,为未来超低功耗、全集成的边缘智能视觉系统提供了极具竞争力的技术方案。

图3:芯片照片与三种视觉任务性能

论文2:面向航天应用的自修复CMOS图像传感器,突破辐射损伤与带宽双重瓶颈

航天探测与地球观测任务离不开高可靠的CMOS图像传感器,但在太空恶劣的辐射环境下,芯片的像素阵列和逻辑电路极易因辐射累积产生“热像素”、漏电流和时序错误等硬件损伤,最终导致成像质量严重退化。传统的抗辐射加固技术(如特殊器件版图或硬件冗余)往往只能被动防御,不仅面积开销大,且无法主动“治愈”已经发生的物理损伤。虽然此前有研究引入了热退火技术来修复受损器件,但这些方案必须中断拍摄才能进行修复,且无法覆盖逻辑电路的损伤。与此同时,航天器在轨产生的海量图像数据远超卫星下行链路的带宽极限。因此,如何打造一款既能在强辐射下“边工作边自愈”,又能智能压缩数据的图像传感器,成为太空视觉探测领域的重大挑战。

图4:太空应用的挑战与本工作的贡献

为应对上述挑战,本项研究提出了一款可自修复辐射损伤的CMOS图像传感器(图4,图5)。该芯片的创新之处在于,同时集成了针对像素电路和数字逻辑电路的“局部在线热退火”修复技术,以及基于图像分块的自适应压缩引擎。在像素端,芯片采用特殊的6T脉宽调制像素电路设计。当系统检测到因辐射受损的异常像素时,会对其施加正向偏置以触发局部高温退火,从而缓解晶格位移缺陷和俘获电荷引起的辐射损伤。值得一提的是,该芯片在修复期间无需停机,而是通过“像素掩蔽”技术利用相邻像素的数据进行智能插值补偿,实现了在线修复下的连续成像。在逻辑电路端,系统利用改进的冗余触发器精准捕捉因辐射累积导致此时序错误的故障路径,随后通过局部高频时钟产生焦耳热,精准地对受损逻辑电路进行热修复,整个过程对帧率几乎无影响。同时,芯片内置的自适应图像压缩引擎能够实时评估画面复杂度,对画面中的关键目标或复杂边缘(感兴趣区域)实施无损保留,对平缓背景区域则进行高强度压缩。

图5:抗辐射自修复CMOS图像传感器架构与工作流程

极端环境实测结果显示(图6),该芯片在经受高达20kGy的X射线强烈辐射后,初始暗电流暴增近181倍,画面严重退化;但在启动数轮在线退火修复后,相较于20kGy的受损状态,像素和逻辑电路的漏电流分别大幅下降了4.82倍和3.97倍,图像质量得到显著恢复,接近初始清晰水平。此外,其自适应压缩技术在保留关键细节的前提下,将图像数据量有效压缩了约75%。该项成果成功突破了太空辐射损伤与通信带宽受限的双重技术瓶颈,为未来需求超长续航和极高可靠性的太空探测任务提供了强有力的视觉芯片支撑。

图6:X射线辐射修复与自适应图像压缩测试

图7:芯片照片

责编: 集小微
来源:南方科技大学深港微电子学院 #ISSCC# #芯片# #南科大#
THE END
关闭
加载

PDF 加载中...