摘要
2026年端侧AI爆发。Apple iPhone 18以A20 Pro芯片和AFM 3模型家族实现端侧AI算力翻倍，高通、联发科、Intel、AMD五强各具差异化路径，稀疏MoE、CIM存算一体、Agentic AI定义下一代竞争格局。
核心观点
稀疏激活MoE与IFP闪存按需加载使端侧运行百亿参数模型成为可能，突破DRAM物理限制，将成为2027年端侧大模型标配架构。
CIM存算一体与超低精度量化（2-bit/1.58bit）从架构层面解决功耗瓶颈，端侧AI从单一模型推理演变为多模型路由编排平台。
Agentic AI是五巨头共同战略方向，国内企业应在架构创新、垂直场景深耕、国产生态闭环三维度建立差异化优势。
Apple iPhone 18 端侧大模型部署策略
AFM 3 模型家族：第三代基础模型
2026年6月WWDC上，Apple发布了第三代 Apple Foundation Models（AFM 3），这是与 Google 合作构建的五模型家族，标志着端侧AI架构的重大升级。
| 模型 | 参数量 | 运行位置 | 核心技术 | 定位 |
|---|---|---|---|---|
| AFM 3 Core | 3B（稠密） | 端侧 | 2-bit QAT量化、KV-cache共享 | 常规任务本地推理 |
| AFM 3 Core Advanced | 20B（稀疏MoE） | 端侧 | IFP技术（Instruction-Following Pruning），仅激活1-4B参数 | 多模态高级任务 |
| AFM 3 Cloud | 未公开 | Private Cloud Compute | PT-MoE架构 | 复杂推理 |
| ADM 3 Cloud (Image) | 未公开 | PCC | 图像生成与编辑 | 视觉创作 |
| AFM 3 Cloud Pro | 未公开 | PCC（Google Cloud NVIDIA GPU） | 最强推理能力 | Agent工具调用、复杂推理 |
AFM 3 Core Advanced 的核心创新：IFP技术
AFM 3 Core Advanced 突破了传统LLM"所有权重必须驻留DRAM"的限制。完整20B参数模型存储在闪存（NAND）中，推理时通过轻量级稠密模块选择固定专家集，高比例"共享专家"始终激活，输入依赖的"路由专家"按需从闪存加载到DRAM。推理时弹性（inference-time elasticity）可根据任务难度动态调整激活参数数量，使模型规模远超DRAM物理限制。
评估结果：AFM 3 Core vs 2025版端侧模型，文本偏好45.6% vs 23.3%；AFM 3 Cloud vs 2025版服务器模型，文本偏好64.7% vs 8.7%。AFM 3 Core Advanced的TTS MOS评分4.15（生产系统3.87）。
A20 Pro 芯片：端侧AI算力翻倍
iPhone 18 Pro / Pro Max 及折叠 iPhone 搭载 A20 Pro，这是 Apple 首款 2nm 手机芯片，也是端侧AI算力最大的一次跃升。
| 规格 | 详情 |
|---|---|
| 制程 | TSMC 2nm（Apple首款2nm手机芯片） |
| Neural Engine | 双16核（共32核），AI处理能力是A19 Pro的两倍 |
| 内存 | A20 Pro: 12GB；A20标准版: 9GB |
| 内存带宽 | 提升50%，96-bit LPDDR5X接口（iPhone史上最宽） |
| 封装 | TSMC WMCM（Wafer-Level Multi-Chip Module），RAM直接集成在同一晶圆 |
| 性能 | 较A19快约18%，能效提升约30% |
| 基带 | 部分型号搭载Apple自研C2 modem，支持5G卫星通信 |
三层端云协同架构
Apple采用隐私优先的分层执行策略，构建三层端云协同架构：
端侧层（On-Device）：AFM 3 Core (3B) / Core Advanced (20B sparse) 运行于 Neural Engine
零延迟 零数据外传
处理：文本摘要、通知排序、智能回复等常规任务
Private Cloud Compute
AFM 3 Cloud / ADM 3 Cloud 运行于 Apple Silicon 服务器
可验证隐私 数据零留存
处理：复杂写作、图像生成初步处理
第三方云端（Extensions）
Google Gemini、Anthropic Claude、ChatGPT、通义千问、Kimi
用户可选 安全沙箱
处理：高级推理、Agent工具调用
战略定位：从"自研最强模型"转向"模型路由平台"
WWDC 2026标志着Apple战略的重大转向——Foundation Models Framework升级为统一语言模型路由层。开发者可调用苹果自研端侧模型、PCC云端模型、Google Gemini、Claude等。Dynamic Profiles功能允许同一会话内动态切换模型。Apple与Google确认多年合作，下一代AFM将基于Gemini构建，每年向Google支付约10亿美元合作费用。
Apple选择了"路由+分发"而非"自研最强模型"的路线，其核心竞争力在于：
隐私架构不可复制性 生态锁定（App Intents框架） 垂直整合（芯片→模型→OS→应用） 2.4亿台iPhone年出货量生态杠杆
但面临劣势：无实时通话翻译（Samsung领先）、AI功能存储占用40-50GB（竞品12-15GB）、运行3B+模型功耗突破6W红线触发降频、国行功能受限需依赖通义千问。
高通端侧AI战略与规划
骁龙8 Elite Gen 5：Hexagon NPU全面升级
2025年骁龙峰会发布的骁龙8 Elite Gen 5，是高通移动平台AI能力的重大迭代：
| 维度 | 关键升级 |
|---|---|
| NPU性能 | 提升37%，每瓦能效提升16% |
| 精度支持 | INT2/INT4/INT8/INT16/FP8/FP16，支持并发推理 |
| Element Accelerator | 专为Transformer优化，标量单元负责智能体决策/路由/编排，向量单元提供高吞吐AI计算 |
| Hexagon Direct Link | Micro Tile推理 + 64位内存虚拟化 |
| Sensing Hub | 双微型NPU，实现"Personal Scribe"和智能体AI（学习用户习惯、构建个人知识图谱） |
| CPU | 第三代Oryon CPU，2+6架构，Prime核心@4.6GHz，支持ARMv9扩展（SVE2/SME1） |
| AI基准 | 移动参考语言模型测试近90万分，断网状态下分数保持 |
Qualcomm AI Hub：开放生态的核心引擎
Qualcomm AI Hub截至2025年中期的关键数据：
1,800+企业使用AI Hub优化和部署AI模型，包括Meta、三星、亚马逊；
175+预优化模型，覆盖CV、生成式AI、多模态任务；
15+主流LLM优化端侧运行；
BYOM/BYOD；
Bring Your Own Model/Data，与Amazon SageMaker协作。
AI Hub的差异化在于"真实设备部署"而非模拟或理论性能：支持从PyTorch和ONNX自动转换、实时性能基准测试、100+预优化模型可直接在骁龙设备上测试。
多模型合作生态
Meta Llama 3.2-3B Google Gemma 4 IBM Granite 4.0 Mistral AI Nexa AI
通过NexaSDK for Android，应用可直接调用Hexagon NPU、Adreno GPU和Oryon CPU运行Llama、Granite等模型。IBM Granite 4.0已完全优化到Hexagon NPU上，覆盖移动、汽车和IoT平台。
全场景路线图：从手机到机器人
高通的AI战略可概括为"智能计算无处不在"，覆盖五大领域：
| 领域 | 产品 | AI算力 | 关键特性 |
|---|---|---|---|
| 手机 | 骁龙8 Elite Gen 5 | 多精度NPU | Agentic AI、Personal Scribe |
| PC | 骁龙X2 Elite | 80 TOPS (INT8) | "全球最快笔记本NPU"，18核Oryon CPU@5GHz，支持128+GB内存 |
| 汽车 | 骁龙数字底盘 + Ride | — | 与Google Cloud Gemini汽车AI智能体结合，BMW iX3获Euro NCAP五星 |
| IoT/工业 | Dragonwing Q-8750 | 77 TOPS | 端侧110亿参数LLM，12路摄像头，支持完全离线运行 |
| 机器人 | Dragonwing IQ系列 | — | 2026年在日本建立机器人投资中心，Arduino VENTUNO Q |
战略核心：开放生态 + 边云混合 + 智能体AI
高通的差异化在于开放性和跨平台覆盖——覆盖Windows PC、Android手机、汽车系统、IoT设备和边缘计算，是最全面的端侧AI解决方案。2025-2026年战略重心已从"回答问题的AI工具"转向"能够协同工作的智能伙伴"（Agentic AI）。高通还在加速业务多元化，减少对移动业务的依赖，汽车和AI PC成为新增长引擎。
联发科端侧AI战略与规划
Dimensity 9500：双NPU架构与CIM存算一体
天玑9500采用革命性的双独立NPU架构（Super Performance + Super Efficient），是联发科目前最强大的端侧AI计算平台：
| NPU | 架构 | 关键能力 |
|---|---|---|
| 超性能NPU | 生成式AI引擎2.0 + 专用Transformer电路 | LLM内存压缩技术，性能较上代提升超2倍 |
| 超能效NPU | CIM存算一体（Compute-in-Memory） | 运行轻量AI模型功耗降低42%，支持Always-On持续焦点跟踪 |
端侧AI能力突破
BitNet 1.58bit模型 功耗降低50%，减少存储需求
4K端侧图像生成 文本生成4K分辨率图像
128K上下文 可处理约10小时录音（上代32K/2.5小时提升4倍）
Agentic AI加速 专为智能体AI设计
NPU代际演进
| 代际 | 芯片 | NPU | 关键能力 |
|---|---|---|---|
| 第七代 | Dimensity 9300 | NPU 790 | 基础生成式AI |
| 第八代 | Dimensity 9400 | NPU 890 | Agentic AI引擎、端侧LoRA训练、MoE模型、50 tokens/sec |
| 第九代 | Dimensity 9500 | NPU 990 | 双NPU+CIM、BitNet 1.58bit、4K图像生成、128K上下文 |
NeuroPilot + LiteRT：开发者工具链
2025年12月，Google与联发科联合推出LiteRT NeuroPilot Accelerator，将LiteRT运行时直接接入MediaTek NeuroPilot NPU栈。开发者可通过单一API接口部署LLM和嵌入模型，无需针对不同芯片编写定制代码。覆盖Dimensity 7300至9400系列SoC。
支持的端侧模型包括：Qwen3 0.6B（面向中国大陆市场）、Gemma-3-270M/1B、Gemma-3n E2B（多模态）、EmbeddingGemma 300M。实测性能：Gemma-3n E2B在4K上下文下预填充1600+ tokens/秒，解码28 tokens/秒，LLM工作负载吞吐量为CPU的12倍、GPU的10倍。
全场景产品路线图
| 领域 | 产品 | AI算力 | 关键特性 |
|---|---|---|---|
| 旗舰手机 | Dimensity 9500 | 双NPU+CIM | 4K图像生成、BitNet 1.58bit、128K上下文 |
| 中端手机 | Dimensity 9400e | — | DeepSeek-R1-Distill、Llama 8B、Gemini Nano |
| IoT/机器人 | Genio Pro（3nm） | 50+ TOPS | 7B LLM达23 tokens/sec，16路摄像头，ROS 2支持 |
| 汽车 | Dimensity Auto | — | 3nm车规，光线追踪GPU，座舱Agent |
| AI眼镜 | Dimensity 9500方案 | — | 与Omni多模态大模型协同 |
| Chromebook | Kompanio Ultra | — | 端侧AI Chromebook平台 |
合作生态
Meta Llama 2/3/3.2 Google LiteRT/Gemini Nano OPPO Omni多模态 NVIDIA GB10 Grace Blackwell
联发科与NVIDIA联合设计GB10 Grace Blackwell Superchip，搭载于NVIDIA DGX Spark平台。在MWC 2026上展示了与OPPO合作的Omni多模态大模型端侧集成。同时自研UCIe-Advanced IP（芯粒间互联），全球首个在台积电2nm和3nm工艺上硅验证。
Intel 端侧AI战略与规划
NPU代际演进：从10 TOPS到50 TOPS
英特尔AI Boost NPU经历了四代主要演进，NPU算力实现了跨越式增长。从Meteor Lake到Lunar Lake，NPU算力从约10 TOPS跃升至48 TOPS，实现了约4.8倍的代际增长，是英特尔NPU史上最大单代提升。Panther Lake进一步将算力提升至50 TOPS，同时每面积TOPS效率提升超过40%。
| 代号 | NPU版本 | NPU TOPS | 平台总算力 | 制程 | 发布时间 |
|---|---|---|---|---|---|
| Meteor Lake | NPU 3 | ~10 TOPS | ~34 TOPS | Intel 4 | 2023年12月 |
| Lunar Lake | NPU 4 | 48 TOPS | 120+ TOPS | TSMC N3B | 2024年9月 |
| Arrow Lake | 第三代NPU | 13 TOPS | 99 TOPS | TSMC N3B | 2024年10月 |
| Panther Lake | NPU 5 | 50 TOPS | ~180 TOPS | Intel 18A | 2026年1月(CES) |
Panther Lake (Core Ultra Series 3) 核心规格
2026年1月CES正式发布，是首款基于Intel 18A制程的AI PC平台。CPU最高16核心（4个Cougar Cove P核 + 8个Darkmont E核 + 4个低功耗Darkmont E核），GPU最高12个Xe3 Arc核心（配备XMX单元用于AI加速），平台总算力约180 TOPS（NPU约50 + Xe3 GPU约120）。相比Lunar Lake，多线程性能提升最高60%，游戏性能提升最高77%，续航最高27小时。可流畅运行30B参数的MoE混合专家模型，驱动超过200款PC设计。
OpenVINO：核心软件护城河
OpenVINO是英特尔端侧AI部署的核心软件栈，2025-2026年取得多项重要更新。OpenVINO 2025.3版本关键特性包括：在NPU上最大化LLM性能（Tokens/秒显著优化），NNCF支持ONNX模型的FP8量化，新增Omni/ASR/Embedding三条管线，预览支持MoE模型。NPU上支持Llama 3 8B、Llama 3.2 (1B/3B)、Qwen2-7B、Gemma 2等模型。
2026年Computex发布OpenVINO Physical AI——首个开源机器人AI库，配备硅片优化推理运行时，支持UVC/RealSense/Basler相机和SO-101/Trossen WidowX机器人接口。Open Edge Platform 2026.1新增Video Surveillance as a Service和Live Video Captioning RAG能力。英特尔是首个在MLPerf Client基准测试中实现完整NPU支持的厂商。
合作生态
微软 Windows ML + OpenVINO深度集成 Meta Llama 3/3.2 NPU部署 Google Cloud Gemini企业合作 富士康/日立边缘AI合作 SambaNova机架级AI基础设施
2025年9月Windows ML正式GA，英特尔EP将OpenVINO与Windows ML结合，开发者可一键选择最优XPU（CPU/GPU/NPU）。Copilot+ PC功能（噪音抑制、实时字幕等）已从CPU移植到NPU运行。
全领域AI战略
| 领域 | 产品/方案 | 关键能力 |
|---|---|---|
| AI PC | Panther Lake (Core Ultra Series 3) | 50 TOPS NPU，~180 TOPS平台总算力，200+款PC设计，可运行30B MoE |
| 边缘服务器 | Xeon 6 (P-cores) | MLPerf v5.1代际1.9倍提升，作为AI系统"编排中枢" |
| 边缘GPU | Arc Pro B系列 | Llama 8B性价比达NVIDIA RTX Pro 6000的1.25倍、L40S的4倍 |
| 边缘/IoT | 130+边缘设计合作 | Sensory AI多智能体物理AI商店，单SoC替代CPU+独显架构 |
| 汽车 | SDV SoC + Arc Graphics | 软件定义汽车，AI Cockpit本地LLM运行 |
| 物理AI/机器人 | OpenVINO Physical AI + Intel Robotics AI Suite | 首个开源机器人AI库，从数据收集到部署完整工具链 |
Hot Chips 2026：面向智能体AI的三大架构
Diamond Rapids（下一代至强）
Intel 18A-P制程，最高256核，1.28GB LLC
16通道12800 MT/s内存
128通道PCIe 6.0 + CXL 3.0
全新APX扩展 + 增强AMX
Foveros Direct 3D封装 + UCIe-S互连
Crescent Island（AI推理GPU）
Xe3P架构，32个Xe核心，256个XMX引擎
最高480GB LPDDR5X内存
350W风冷PCIe卡
面向实时AI推理优化，提升Token吞吐量
Wildcat Lake（主流市场）
Intel 18A制程
2个P核 + 4个E核
集成Xe3图形 + XMX AI加速
NPU最高17 TOPS
首款采用UCIe标准的英特尔处理器
Intel的差异化与短板
差异化优势：(1) x86原生兼容——零应用兼容性问题，无需ARM翻译层；(2) OpenVINO成熟生态——跨XPU部署框架，集成Windows ML，延伸至物理AI和机器人；(3) 平台总算力优势——Panther Lake的~180 TOPS依赖Xe3 GPU贡献大部分。
关键短板：(1) NPU单独算力（50 TOPS）低于高通（80）和AMD（60）；(2) 内存容量受限（~32GB vs 竞品128GB+），限制本地大模型运行能力；(3) 内存带宽约120 GB/s，远低于苹果M5 Max的614 GB/s。
AMD 端侧AI战略与规划
XDNA NPU架构演进：从10 TOPS到60 TOPS
AMD的NPU架构源自Xilinx（赛灵思）技术，采用空间排列的AI Engine瓦片设计，核心为VLIW + SIMD向量处理器，专门用于矩阵运算。XDNA 2相比第一代实现了5倍性能提升，采用模块化可扩展架构，支持独立并发处理和显式数据移动。
| 代次 | 产品系列 | NPU架构 | NPU TOPS | 时间 |
|---|---|---|---|---|
| XDNA 1 | Ryzen 7040/8040 | XDNA | 10-16 TOPS | 2023-2024 |
| XDNA 2 | Ryzen AI 300 (Strix Point) | XDNA 2 | 50 TOPS | 2025 |
| XDNA 2 | Ryzen AI 400 (Gorgon Point) | XDNA 2（高频率） | 60 TOPS | 2026 |
| XDNA 2 | Ryzen AI Max+ (Strix Halo) | XDNA 2 | 50 TOPS | 2025-2026 |
| XDNA 3（未来） | Medusa Point | 第3代XDNA | 预计80 TOPS | 2027（预计） |
Ryzen AI 400系列（CES 2026发布）核心型号
| 型号 | 核心/线程 | 加速频率 | NPU TOPS | 图形CU | cTDP |
|---|---|---|---|---|---|
| Ryzen AI 9 HX 475 | 12C/24T | 5.2 GHz | 60 | 16 | 15-54W |
| Ryzen AI 9 HX 470 | 12C/24T | 5.2 GHz | 55 | 16 | 15-54W |
| Ryzen AI 9 465 | 10C/20T | 5.0 GHz | 50 | 12 | 15-54W |
| Ryzen AI 7 450 | 8C/16T | 5.1 GHz | 50 | 8 | 15-54W |
全系搭载Radeon 800M系列集成显卡（RDNA 3.5架构），所有型号NPU均达到或超过50 TOPS，超过Copilot+ PC 40 TOPS最低要求。系统将于2026年Q1从Acer、ASUS、Dell、HP、GIGABYTE、Lenovo等OEM供货。
Ryzen AI MAX系列：工作站级本地AI王者
AMD Ryzen AI Max系列凭借超大统一内存在x86阵营中建立独特优势，可本地运行超大规模模型：
| 型号 | 核心/线程 | NPU TOPS | 图形CU | 统一内存 | 可分配显存 | 本地最大模型 |
|---|---|---|---|---|---|---|
| Ryzen AI Max+ 395 | 16C/32T | 50 | 40 | 128GB | 96GB | Llama 4 Scout 109B |
| Ryzen AI Max+ PRO 495 | 16C/32T | 55 | 40 | 192GB | 160GB | 300B参数(4-bit) |
| Ryzen AI Max PRO 490 | 12C/24T | 50 | 32 | 192GB | 160GB | 300B参数(4-bit) |
里程碑：Ryzen AI Max+ 395（128GB）是首款可在Windows AI PC上运行Meta Llama 4 Scout 109B模型的处理器，MoE架构下任意时刻仅170亿参数活跃。Ryzen AI Max PRO 400系列（192GB统一内存/160GB可分配显存）是全球首款可本地运行3000亿参数模型的x86客户端处理器（4-bit量化）。
软件生态：ROCm + Ryzen AI Software
AMD Ryzen AI Software（当前版本1.6）通过ONNX Runtime + Vitis AI Execution Provider在NPU上运行推理，支持PyTorch和TensorFlow模型部署，AMD Quark量化器支持PyTorch和ONNX模型量化。
CES 2026宣布ROCm 7.2支持Ryzen AI 400系列，覆盖Windows和Linux。关键进展：ROCm过去一年AI性能提升最高5倍，2025年平台支持范围在Ryzen和Radeon产品线上翻倍，下载量同比增长10倍。ROCm 7.2已集成ComfyUI，新增PyTorch Windows构建版本。Advancing AI 2026推出ROCm.ai开发平台，使Claude/Codex/Cursor等编程代理原生理解AMD平台。AMD还推出Adrenalin Edition AI Bundle，一键安装本地AI所需工具。
合作生态
微软 Windows ML / Copilot+ / Windows AI Foundry Meta Llama 3/4 端侧部署（109B模型） Liquid AI LFM模型优化 Cisco企业混合AI HP/Lenovo工作站OEM
AMD与微软深度合作推进"云到端"AI：ROCm支持Azure云（AMD Instinct）和Windows ML（AMD Ryzen/Radeon）。Windows AI Foundry集成Foundry Local、Ollama等模型目录。AMD与Meta合作使Ryzen AI Max+ 395成为首款可运行Llama 4 Scout 109B的Windows AI PC处理器。Cisco与AMD合作将Ryzen AI Halo系统与Cisco网络/可观测性/安全能力结合，支持企业部署混合和本地代理AI。
物理AI与嵌入式新布局
CES 2026首次公布Ryzen AI Embedded处理器系列（P100和X100），2026年7月AAI 2026详细发布X100系列：
| 对比维度 | vs Intel Core Ultra Series 3 | vs Nvidia Jetson T5000 | vs Nvidia RTX 4000 Ada |
|---|---|---|---|
| 多线程CPU性能 | 2.1倍(CoreMark) | — | — |
| 图形性能 | 1.7倍(OpenGL) | — | — |
| Token生成吞吐量 | 3.5倍 | — | — |
| 峰值FP32性能 | — | 3倍 | — |
| 波束成形等负载 | — | — | 1.7倍 |
支持-40°C至105°C工业级温度范围，7×24小时运行，10年寿命。2026年6月开始客户样品，Q4量产。同时推出AMD Kria AI SOM——首个开放式、一体化自主机器人集成平台，结合CPU、GPU、NPU和FPGA计算，将机器人能力从"身体"扩展到"大脑"。
AMD的差异化与短板
差异化优势：(1) 完整x86-64兼容，无模拟层，Windows游戏+AI工作流合一；(2) Ryzen AI Max系列以最高192GB统一内存/160GB可分配显存，成为x86阵营本地运行超大模型的最佳选择；(3) ROCm软件生态快速追赶（下载量增10倍），ROCm.ai引入AI辅助编程；(4) 物理AI/嵌入式布局（Kria AI SOM + 机器人平台）与Nvidia Jetson直接竞争。
关键短板：(1) NPU TOPS（60）低于高通（80），XDNA 2已沿用两代，XDNA 3要等2027年；(2) ROCm尚不支持直接NPU编程，依赖ONNX Runtime + Vitis AI路径；(3) NPU架构创新（如CIM存算一体）落后于联发科；(4) 在手机端侧AI市场基本缺位，重心在PC和工作站。
五强对比与竞争格局
端侧AI芯片核心规格对比（2026年旗舰）
| 维度 | Apple A20 Pro | 高通8 Elite Gen 5 | 联发科9500 | Intel Panther Lake | AMD Ryzen AI 400 |
|---|---|---|---|---|---|
| 定位 | 手机 | 手机/PC | 手机/IoT | AI PC/边缘 | AI PC/工作站 |
| 制程 | TSMC 2nm | TSMC 3nm | TSMC 3nm(二代) | Intel 18A | TSMC(沿用) |
| AI加速器 | 双16核NE(32核) | Hexagon+EA | 双NPU+CIM | NPU 5 + Xe3 GPU | XDNA 2 NPU |
| NPU算力 | 未公布 | 多精度并发 | 超上代2倍 | 50 TOPS | 60 TOPS |
| 平台总算力 | — | — | — | ~180 TOPS | ~126 TOPS(Max) |
| 最大内存 | 12GB | 最高24GB | LPDDR5X | ~32GB | 192GB(Max PRO) |
| 端侧模型 | AFM3(3B/20B稀疏) | Llama3.2/Granite等 | Qwen3/Gemma | Llama3/30B MoE | Llama4 109B/300B |
| LLM生态 | 闭环路由 | 开放(AI Hub) | 开放(NeuroPilot) | OpenVINO | ROCm+Ryzen AI |
| 核心差异化 | 隐私+生态锁定+IFP | 开放+全场景+Agentic | CIM+性价比 | x86兼容+OpenVINO | 大内存+x86+物理AI |
PC领域NPU算力与本地LLM对比
| 平台 | NPU TOPS | 最大内存 | 内存带宽 | 本地LLM能力 |
|---|---|---|---|---|
| 高通骁龙X2 Elite | 80 TOPS | 128GB | — | 70B级模型 |
| Nvidia RTX Spark | 100 TOPS (FP4) | — | — | 含GPU总算力更高 |
| AMD Ryzen AI 9 HX 475 | 60 TOPS | 因OEM而异 | — | x86兼容+AI工作流 |
| AMD Ryzen AI Max PRO 495 | 55 TOPS | 192GB | — | 300B参数(4-bit) |
| Intel Panther Lake | 50 TOPS | ~32GB | ~120 GB/s | 30B MoE模型 |
| Apple M5 Max | 未公布 | 128GB | 614 GB/s | 本地LLM最佳 |
| Apple M4 Pro | ~38 TOPS | 128GB | 546 GB/s | 大模型本地运行 |
五种路线之争
Apple：闭环路由平台
不追求单点最优，追求系统最优。控制用户用什么模型而非生产什么模型。隐私架构不可复制，生态锁定是核心壁垒。但功能广度不足、存储开销大、功耗瓶颈明显。
高通：开放全场景
开放模型生态（Llama/Gemini/Granite/Mistral）+ 全场景覆盖（手机→PC→汽车→IoT→机器人）。真实设备部署能力区别于竞品模拟性能。Agentic AI为核心方向，业务多元化减少移动依赖。
联发科：性价比+CIM创新
CIM存算一体架构实现42%功耗降低，BitNet 1.58bit支持降低50%功耗。NeuroPilot + LiteRT降低开发者门槛。在中端市场和高性价比旗舰形成差异化竞争，与NVIDIA合作拓展高端。
Intel：x86兼容+OpenVINO生态
x86原生兼容零应用兼容性问题，OpenVINO跨XPU部署框架延伸至物理AI和机器人。平台总算力~180 TOPS依赖Xe3 GPU。但NPU单独算力(50 TOPS)低于竞品，内存受限(~32GB)是最大短板。
AMD：大内存+x86+物理AI
192GB统一内存/160GB可分配显存，成为x86阵营本地运行超大模型最佳选择（300B参数4-bit）。ROCm生态快速追赶（下载量增10倍）。物理AI/嵌入式布局（Kria AI SOM）与Nvidia Jetson直接竞争。但NPU架构创新落后，手机端基本缺位。
端侧AI七大发展趋势
1、稀疏激活MoE成为端侧大模型主流架构
Apple AFM 3 Core Advanced（20B参数，仅激活1-4B）和华为麒麟9050 Pro（30B参数，激活2B）证明MoE架构可以在端侧突破参数量限制。通过稀疏激活，端侧可运行远超DRAM限制的大模型，同时保持推理速度。这将成为2027年端侧大模型的标配架构。
2、存算一体（CIM）突破功耗瓶颈
联发科Dimensity 9500的超能效NPU采用CIM存算一体架构，运行轻量AI模型功耗降低42%。传统冯·诺依曼架构中数据搬运功耗占比高达60-80%，CIM将计算直接嵌入存储阵列，从根本上解决"存储墙"问题。Always-On AI场景（持续焦点跟踪、环境感知）将成为CIM的首选落地场景。
3、端侧模型路由与编排平台化
Apple的Foundation Models Framework升级为统一路由层，高通AI Hub支持15+主流LLM端侧部署，联发科NeuroPilot + LiteRT提供单一API接口，Intel OpenVINO跨XPU部署框架集成Windows ML，AMD ROCm 7.2覆盖Windows和Linux。端侧AI正在从"单一模型推理"演变为"多模型路由编排平台"——根据任务复杂度、延迟要求和隐私需求动态选择端侧/云端/第三方模型。
4、智能体AI（Agentic AI）成为核心方向
五巨头均已将战略重心转向Agentic AI。高通骁龙8 Elite Gen 5的Element Accelerator专为智能体决策/路由/编排设计，Sensing Hub实现"Personal Scribe"主动行动；Apple的App Intents框架将数百万应用转化为Agent可调用的Skills；联发科Dimensity 9500专为Agentic AI加速；Intel Hot Chips 2026发布面向智能体AI的Diamond Rapids/Crescent Island三大架构；AMD Ryzen AI Halo定位"下一代Agent计算机"。AI从"回答问题"进化为"协同工作的智能伙伴"。
5、多精度量化技术全面覆盖
高通Hexagon NPU支持INT2/INT4/INT8/INT16/FP8/FP16并发推理，联发科支持BitNet 1.58bit模型（功耗降低50%），Apple使用2-bit QAT量化，Intel OpenVINO的NNCF支持FP8量化并在NPU上优化LLM性能，AMD RDNA 4架构支持INT4/INT8/FP8/FP16精度。量化已从"训练后压缩"演进为"量化感知训练"（QAT），2-bit和1.58bit等超低精度模型将成为端侧部署的新标准，在精度损失可控的前提下大幅降低存储和功耗。
6、闪存按需加载突破DRAM物理限制
Apple AFM 3 Core Advanced的IFP（Instruction-Following Pruning）技术将20B模型完整存储在NAND闪存中，推理时仅将需要的专家权重按需加载到DRAM。这一技术使端侧模型规模可远超DRAM容量限制，为未来在8-12GB内存手机上运行百亿参数级模型铺平道路。
7、端云协同成为标准架构，隐私计算是竞争壁垒
五巨头均采用"端侧处理简单任务→自建云端处理复杂任务→第三方云端处理重度推理"的三层架构。Apple的Private Cloud Compute（可验证隐私、数据零留存）成为隐私计算的标杆。Intel与Google Cloud合作扩展AI劳动力能力，AMD与微软推进"云到端"AI（ROCm覆盖Azure云和Windows ML），高通与Google Cloud在汽车智能体AI领域深度合作。端云协同不是简单的"端侧+云端"，而是根据任务复杂度、延迟要求、隐私需求的智能调度系统。
国内端侧AI芯片企业现状
主要企业概览
| 企业 | 核心产品 | AI算力 | 定位与优势 |
|---|---|---|---|
| 寒武纪 | 思元370系列（边缘版） | 256 TOPS (INT8) | 边缘AI芯片市场份额18.6%（第一），2025年营收64.97亿（+453%），首次年度盈利 |
| 地平线 | 征程5 / 星空Starry 6P | 650 TOPS（6P） | 智驾芯片出货突破1000万颗，中国ADAS市占率47.7%，20万元以下NOA市场份额44% |
| 华为海思 | 麒麟9050 Pro / 昇腾310B | — | 行业首个30B参数MoE端侧全模态大模型，边缘AI芯片市占15.3%，受供应链限制 |
| 瑞芯微 | RK3588 / RK3576 | 6 TOPS | 机器人/智能座舱/工业视觉大规模出货，RKLLM框架支持500M~7B模型 |
| 全志科技 | T527 / V881 | 2 TOPS | AI眼镜新兴平台（V881获10+客户），2026H1净利润+204% |
| 紫光展锐 | T820/T9100 | — | 入门至中端5G市场，百元级5G手机主力，端侧NPU算力与旗舰仍有差距 |
| 壁仞科技 | BR100 / BR20X / BR31X | — | 2026年1月港交所上市（"港股GPU第一股"），以云端训练为主正向边缘延伸 |
| 摩尔线程 | MTT AICUBE / E300 | 50 TOPS（AICUBE） | "云-边-端"全栈，2025年12月科创板上市，MUSA SDK兼容CUDA接口761个 |
市场规模与机遇
2026年中国端侧AI市场规模预计8,661亿元
2026年端侧AI芯片市场规模预计800亿元
AI推理计算需求将达到训练需求的倍数4-5倍
推理算力租赁价格半年涨幅+40%
技术路线多元化
| 技术路线 | 代表企业 | 核心特点 |
|---|---|---|
| GPGPU | 壁仞科技 | 原创架构，峰值算力突破，从云端向边缘延伸 |
| 全功能GPU云边端 | 摩尔线程 | 单芯片同时支持AI计算和图形渲染 |
| RISC-V + PPU | 平头哥 | "真武810E"，96GB HBM2e，自主可控 |
| 整车智能体 | 地平线 | 芯片到OS全栈，垂直场景深度优化 |
| 云端AI专用→边缘 | 寒武纪 | MLUarch架构，从云端向边缘延伸 |
| 达芬奇架构NPU | 华为海思 | 30B MoE端侧运行，原生盘古大模型 |
| SoC+协处理器 | 瑞芯微 | RKLLM框架，双轨策略，高性价比 |
对国内端侧AI芯片企业的战略建议
建议一：拥抱稀疏激活MoE + 超低精度量化，突破参数量天花板
Apple AFM 3 Core Advanced（20B稀疏，激活1-4B）和华为麒麟9050 Pro（30B MoE，激活2B）已证明MoE + 量化的技术路线在端侧可行。国内企业应将稀疏激活MoE架构作为端侧大模型部署的核心方向，结合BitNet 1.58bit等超低精度量化技术，在有限DRAM（8-12GB）条件下实现百亿参数级模型的端侧运行。具体路径：优先支持INT2/INT4量化推理，研发IFP类闪存按需加载技术，与国内大模型企业（DeepSeek、通义千问）联合优化MoE端侧部署方案。
建议二：投入存算一体（CIM）架构研发，构建功耗护城河
联发科Dimensity 9500的CIM架构实现42%功耗降低，这不仅是性能提升，更是架构层面的代际超越。传统冯·诺依曼架构在端侧AI场景的功耗瓶颈无法通过制程微缩解决。国内企业应将CIM存算一体作为下一代NPU架构的重点研发方向，尤其在Always-On AI（持续感知、环境理解）等低功耗场景形成差异化优势。建议联合国内高校和存储厂商（长鑫存储等）推进CIM工艺验证。
建议三：建设开放模型工具链与开发者生态，对标AI Hub和NeuroPilot
高通AI Hub（1,800+企业、175+模型）和联发科NeuroPilot + LiteRT（单一API接口）的核心价值在于降低开发者门槛。国内企业普遍缺乏完善的端侧AI部署工具链。建议：(1) 构建统一的端侧AI模型部署SDK，支持PyTorch/ONNX自动转换和真机性能基准测试；(2) 与DeepSeek、通义千问等国内主流大模型深度优化合作，提供预优化端侧模型库；(3) 开源LLM推理框架（如瑞芯微RKLLM模式），降低开发者集成成本；(4) 建设类似AI Hub的开发者社区，提供BYOM/BYOD能力。
建议四：聚焦垂直场景深耕，避免与三巨头正面交锋
在手机旗舰SoC市场，国内企业在先进制程（2nm/3nm）获取和全球生态合作方面短期内难以追赶Apple/高通/联发科。但在垂直场景具备独特优势：地平线在智驾芯片（市占47.7%）、瑞芯微在机器人/IoT、全志在AI眼镜、寒武纪在边缘推理服务器均已建立护城河。建议继续深耕垂直场景，将"场景理解深度"转化为"芯片架构优化深度"，在智能汽车、具身智能、AI眼镜、工业IoT等赛道建立不可替代性。同时探索跨场景平台化（如地平线从智驾向具身智能延伸）。
建议五：以成熟制程 + 先进封装应对先进制程限制
先进制程限制是国内芯片企业面临的核心挑战。但Apple的WMCM封装、联发科的UCIe-Advanced IP（芯粒互联）和NVIDIA的GB10 Superchip（与联发科联合设计）均证明先进封装可以在一定程度上弥补制程差距。建议：(1) 加大Chiplet/先进封装投入，通过多芯粒集成提升总算力；(2) 利用国内成熟制程（14nm/7nm）+ 大面积封装实现等效性能；(3) 探索RISC-V + 自研NPU的差异化架构路线，降低对ARM生态的依赖；(4) 与国内封装厂（长电科技、通富微电）建立深度合作。
建议六：布局Agentic AI硬件加速，抢占下一代交互范式
三巨头均已将Agentic AI作为核心方向。高通的Element Accelerator（标量单元负责智能体决策/路由/编排）是专为Agentic AI设计的硬件创新。国内企业应前瞻布局：(1) 在NPU中增加Agent调度专用硬件单元，支持多模型并发推理和动态路由；(2) 研发端侧Agent运行时（Runtime），支持工具调用、知识图谱构建和个人化学习；(3) 与国内Agent框架（如Coze、Dify）深度集成，提供硬件级加速；(4) 探索"端侧Agent + 云端大模型"的协同架构，端侧负责感知/决策/编排，云端负责重度推理。
建议七：构建"国产大模型 + 国产芯片 + 国产工具链"闭环生态
端侧AI的竞争已从"芯片性能"升级为"生态竞争"。Apple的闭环生态（芯片→模型→OS→应用）和高通的开放生态（AI Hub + 多模型合作）代表了两种成功范式。国内企业应构建第三条路——"国产闭环生态"：(1) 芯片企业与DeepSeek、通义千问、智谱等大模型企业建立深度优化合作，类似高通与Meta Llama的关系；(2) 与鸿蒙/OpenHarmony等国产OS深度集成，提供系统级AI加速能力；(3) 建设国产AI芯片开发者联盟，共享模型优化经验和工具链；(4) 利用信创市场和数据安全需求，在政务、金融、能源等关键行业建立端侧AI应用标杆。
核心判断：端侧AI的竞争窗口期在2026-2028年。稀疏激活MoE、CIM存算一体、Agentic AI三大技术方向将定义下一代端侧AI芯片的竞争格局。五大巨头中，Apple以隐私架构和生态锁定构建闭环，高通以开放生态和全场景覆盖领先，联发科以CIM存算一体创新突围，Intel以x86兼容和OpenVINO生态深耕PC/边缘，AMD以超大统一内存和工作站级本地AI建立差异化。国内企业应避免在旗舰手机SoC赛道与巨头正面竞争，转而在架构创新（CIM/MoE硬件加速）、垂直场景深耕（智驾/机器人/AI眼镜）和国产生态闭环（大模型+芯片+OS）三个维度建立差异化优势。先进制程限制可以通过先进封装和架构创新部分弥补，但开发者工具链和模型生态的短板是最紧迫的补课方向。
