研究内容
近日，浙江大学集成电路学院张亦舒研究员团队联合朱晓雷教授、东方理工大学王长虹教授等团队，提出了基于元可塑性人工突触缓解人工神经网络中灾难性遗忘问题，增强泛化，实现了多任务持续性学习能力。该工作以题为“Metaplasticity-Enabled Graphene Quantum Dot Devices for Mitigating Catastrophic Forgetting in Artificial Neural Networks”发表于《Advanced Materials》（DOI: 10.1002/adma.202411237）。本文第一作者为浙江大学集成电路学院博士生凡雪蒙。该工作得到了国家自然科学基金、浙江省自然科学基金重大项目和国家重点研发计划的资助。
图1 期刊封面
课题亮点
在这项工作中，基于两端忆阻器件，引入石墨烯量子点界面调控实现不对称的导电通路，首次在单器件层面实现元可塑性，并复制经典突触可塑性，使得长期记忆和持续学习能力直接且动态地调制。采用不同的连续脉冲序列代表不同的学习和记忆场景，在单器件中演示了历史权重与新技能权重的相关性，成功模拟了海马体局部神经回路对中枢神经系统指示信号的动态习得过程。同时展示了基于元可塑性器件作为单元构建大规模神经网络阵列硬件系统的可行性。最后，基于元可塑性器件的神经网络系统进行连续四次不同MNIST数据集体任务的学习，结果显示在第四次MNIST数据集任务达到了97 %的学习准确率情况下，前三次任务仍然具备94 %以上的记忆准确率。该研究克服了基于模型或算法实现元可塑性的局限，为人工突触在应对动态和复杂任务方面提供了重要进展。实现元可塑性通过硬件在深度神经网络中的直接嵌入，缓解了灾难性遗忘问题，并缩小了人工神经网络与生物神经网络之间的差距。研究结果对高度泛化和智能神经网络的发展具有重要意义，推动人工智能技术的应用和发展。
图2 论文插图
课题背景
灾难性遗忘是神经网络实现持续学习的主要障碍，限制了深度学习在多任务和动态环境中的广泛应用。这种局限性源于模拟过程过度简化了生物神经回路的复杂性，忽略了记忆稳定性和学习可塑性之间的动态平衡。协调人工神经网络的灾难性遗忘特性与生物系统的持续学习能力之间面临突触可塑性-稳定性两难困境。随着数据集和任务的规模和复杂度不断扩大，解决灾难性遗忘问题对于推进通用型人工智能至关重要。元可塑性，作为神经科学中一种高级的可塑性行为，为生物系统提供了一种“可调节的学习模式”，既能够快速适应新信息，又能保持长期记忆的稳固性。这种机制也为人工智能中的持续学习提供了灵感，特别是在解决灾难性遗忘和实现智能系统灵活性的研究中具有重要价值。然而，目前神经网络中应用的元可塑性方法受到系统复杂性增加、计算成本高和工程实施困难的限制，缺少元可塑性行为直接转移到深度神经网络中的缓解灾难性遗忘的策略。
研究团队简介
张亦舒 浙江大学杭州国际科创中心百人计划研究员、求是科创学者，浙江省海外高层次人才
长期从事围绕新型存储器（RRAM, FeRAM等）实现的存算一体和神经形态计算研究，在相关领域发表学术论文50余篇，其中第一作者/通讯作者论文25篇，包括《Nature Communications》、《Advanced Materials》（5篇）、《Advanced Functional Materials》、《InfoMat》、《ACS Nano》、《Nano-micro letters》和《Nano Letters》（5篇）等；以第一发明人申请发明专利16项，授权6项，其中2项美国专利。参与编著由吴汉明院士主编的《集成电路制造大生产工艺技术》教材第17章。主持参与包括国家自然科学基金，科技部重点研发计划，浙江省重大基金在内的多项省部级项目。受邀担任International Journal of Extreme Manufacturing、Brain-X、Progress in Natural Science-Materials International和CMC-Computers Materials & Continua等国际学术期刊青年编委。获得包括第二届全国博士后创新创业银奖和国家优秀自费留学生奖学金等奖项。
凡雪蒙 浙江大学集成电路学院 2023级博士生
从事自整流RRAM的高密度集成，存内计算及新型神经形态器件方面的研究。第一作者身份在Advanced Materials，ACS Applied Materials & Interfaces，ACS Sustainable Chemistry & Engineering ，ACS Applied Nano Materials等期刊发表论文5篇。授权中国发明专利5项， PCT 2项。
