5月27日-29日，2026第十届集微大会在上海张江科学会堂隆重举行。上海光羽芯辰科技有限公司算法专家曹中兴博士在5月28日举行的端侧AI峰会上发表了以《端侧大模型芯片产业化及应用》为主题的演讲，围绕端侧行业发展、技术突破、产业化瓶颈及未来趋势展开深度分享，系统拆解了行业发展现状、核心痛点与落地路径，明确当前端侧AI领域正从概念验证阶段全面迈向规模化产业化落地周期。
上海光羽芯辰科技有限公司算法专家曹中兴博士
端侧AI迈入规模化落地周期
端侧AI，即将AI计算与决策能力从云端迁移至终端设备，其核心驱动力在于对低延迟、高隐私、低功耗、低成本的极致追求。随着大模型轻量化技术的突破与行业应用，端侧AI正从概念走向现实，开启端侧大模型AI的新时代。
曹中兴博士表示，端侧AI核心是将计算、数据处理与智能决策能力迁移至手机、PC、智能座舱、机器人等终端设备，摆脱对云端服务器的持续依赖，实现本地化智能运算。在他看来，这一技术变革并非偶然，而是信息技术迭代的必然趋势，行业发展遵循从大型机、PC互联网、移动互联网到终端智能化的去中心化演进逻辑，是技术贴近真实应用场景的核心方向。
相较于云端AI，端侧AI具备三大不可替代的核心优势，精准匹配当下智能设备的升级需求。一是超低延迟响应，数据在终端本地实时处理，无需经过云端传输、交互等待，可实现毫秒级响应，大幅优化用户交互体验；二是数据安全隐私性更强，所有敏感数据均留存终端本地，无需上传云端，从硬件层面筑牢数据安全防线；三是能效比更优、适配性更广，有效减少网络数据传输损耗，降低设备功耗、延长续航，同时支持离线运行，适配各类无网、弱网复杂场景。
与此同时，曹中兴博士表示，当前端侧领域仍存在一定的技术与落地局限，制约行业规模化普及。终端设备的算力、内存、存储空间等硬件资源有限，无法承载超大参数规模的通用大模型，直接限制了模型推理精度与复杂任务处理能力。此外，分散式的终端布局，让模型迭代更新、日常维护、安全防护难以实现云端式统一管理，成为行业共性痛点。
技术创新突破产业瓶颈
针对端侧AI落地的核心技术瓶颈，曹中兴博士介绍了光羽芯辰自研的EdgeAIon®一体化软硬协同解决方案，通过架构革新彻底突破传统技术壁垒。
曹中兴博士表示，行业长期受限于冯·诺依曼架构的“存储墙”与“功耗墙”，数据搬运损耗远大于计算损耗，是端侧性能提升的核心阻碍。对此，光羽芯辰打造了存算一体、近存计算的全新架构，搭配3D异构集成、3D堆叠封装技术，将计算单元与存储单元深度融合，实现数据“就地计算”，从根源上解决数据搬运瓶颈。
曹中兴博士认为，这套自研架构实现了性能的跨越式提升，核心指标优势显著：相较传统架构，设备响应延迟降低至原来的1/10，达成端侧毫秒级极速响应；整体能效比提升5倍，大幅降低终端运行功耗；数据带宽提升10倍，彻底打通端侧算力传输堵点。同时，配套搭建适配全场景的轻量化模型推理引擎，兼顾高算力、低功耗、小尺寸需求，可适配高中低端各类终端设备，完美匹配多样化场景落地需求。
在技术发展与生态布局的平衡上，曹中兴博士指出，光羽芯辰始终坚持“自研核心、开放协同”的发展路径，精准平衡技术自主性与生态开放性。在核心技术层面，团队牢牢掌控芯片架构、底层编译器、核心加速模块等关键环节，实现底层技术自主可控，筑牢产业发展核心壁垒。在生态层面，坚持开放兼容理念，主动对接行业主流操作系统、开发框架与标准化体系，可与OpenClaw等主流框架无缝适配，确保技术方案能够快速融入现有产业生态与终端厂商产线。
光羽芯辰并非打造封闭技术闭环，而是以自主核心技术为支点，搭建全域产业协作网络。目前，公司牵头制定的《端侧AI的3D DRAM芯片集成技术规范》团体标准已通过上海集成电路行业协会验收评审。
构建端侧AI新生态
据了解，目前光羽芯辰已与多家头部终端厂商达成深度合作，技术方案成功嵌入手机、PC、智能机器人、车载座舱、边缘算力设备等量产产品，同时持续适配不同区域行业合规要求，加速技术方案在多区域、多场景的落地应用，覆盖消费电子、工业检测、智慧城市、全屋智能、智能安防等诸多领域。
“行业规模化落地不会一蹴而就，需循序渐进、分层突破。”曹中兴博士表示，短期优先切入隐私性、实时性、稳定性要求极高的垂直细分赛道，聚焦医疗边缘影像分析、工业现场实时质检、高端智能座舱等高端场景，依托高附加值场景验证技术价值、打磨产品体系。中长期通过架构创新、成熟制程替代持续技术降本，叠加全行业生态共建，逐步向大众消费市场渗透。目前团队已推出适配4-6米场景的低成本模组方案，大幅下探终端落地成本，为行业规模化普及奠定基础。
展望行业演进趋势，曹中兴博士指出，端侧AI将告别单纯“可运行模型”的初级阶段，进入精细化、场景化、协同化的高质量发展阶段，整体呈现三大核心趋势。一是算力协同一体化，CPU、NPU、ISP、DSP等多类算力单元深度融合、协同加速，破除单一算力独立运行的短板；二是产业落地定制化，行业将形成模型、芯片、应用一体化联合优化模式，告别通用化发展思路，聚焦细分场景打造专属解决方案；三是架构布局端云协同化，端侧承担实时推理、隐私数据处理工作，云端聚焦大模型训练与全局知识沉淀，双向联动构建完整高效的产业闭环。
基于行业发展趋势，光羽芯辰也同步明确了未来布局重心。曹中兴博士表示，企业将持续强化跨层优化工具链建设，夯实底层技术底座；加大视频理解、多模态交互等高价值场景的算法预研投入，提升场景适配能力；同时加速与全球主流云平台、操作系统厂商的标准对齐，让技术迭代精准贴合产业真实需求。
最后，曹中兴博士总结，未来端侧AI将依托感存算一体技术架构与端云协同生态完善，持续提升实时性、低功耗、高隐私核心能力，最终实现普惠智能愿景。通过技术开源、标准统一、生态共建，持续降低行业创新门槛，赋能千行百业，推动消费电子、工业制造、智能安防、医疗设备等全领域智能化跃迁，构建开放繁荣的端侧AI生态，共创智能未来。
