随着大模型技术的迅速迭代，词元（Token）服务成为从技术走向应用的关键点，我国日均词元调用量持续攀升，2026年6月，国内词元日均消耗量约500万亿，是2025年12月的近4倍。产业中越来越多的MaaS（Model as a Service，模型即服务）平台厂商通过公有云API方式供给大模型词元服务。然而用户对词元服务性能缺乏直观的判断依据，且面临选型困难等各类问题。
为有效衡量服务性能，中国信息通信研究院（简称“中国信通院”）人工智能研究所、人工智能大模型及软硬件评测工业和信息化部重点实验室和中国人工智能产业发展联盟，自2025年以来持续开展公有云大模型词元服务性能监测工作，为产业应用提供重要参考，现联合发布《大模型词元服务性能监测报告（2026年）》。
报告基于2026年1-8月的监测数据，围绕各平台词元服务调用成功率、吞吐速度、首词时延、稳定性、价格、上下文窗口等维度开展分析，对比原厂大模型官方平台，以及DeepSeek、Qwen、GLM、Kimi四款开源模型在第三方平台上的性能差异，进一步分析影响词元服务性能的关键因素，总结产业核心观察，明确下一步工作计划，旨在为用户选型提供参考，并为产业界优化服务能力提供方向指引。
报告核心观点
1. 国内词元服务每秒吞吐量较2025年翻倍，仍低于国外 报告提出，8月份国内各模型平均TPS（每秒输出词元数）达到78.23（个/秒），与2025年均值38.25（个/秒）相比实现翻倍。但8月份国外典型模型的TPS均值为112.82（个/秒），与2025年12月的51.35（个/秒）相比，提升亦超过一倍，整体优于国内。
所有大模型词元服务月均TPS
来源：中国信通院
2. 词元服务时延有所增加，国内外趋势一致 报告提出，今年以来，国内各模型的平均TTFT（首词时延）呈现持续提升态势，8月份均值达到1.26秒，相较于2025年平均值0.78秒明显增加。但同时8月份国外典型模型TTFT平均值达到2.08秒，相比4月份1.04秒亦明显增加。值得注意的是，TTFT上升并非单纯的性能退化，而是伴随着模型参数量增加、上下文长度增加、调用量增加等多种因素同步产生的结果。
所有大模型词元服务的月均TTFT
来源：中国信通院
3. 2026年词元服务价格明显回升 报告提出，经历了过去两年价格战后，2026年国内外模型服务价格明显上涨。国内2025下半年归一化均价为6.8元，而今年以来均价为13.46元，涨幅接近1倍。但国外价格仍高于国内，2026年以来发布的典型模型平均归一价格约为117.8元。
国内原厂大模型发布时归一化价格趋势图
来源：中国信通院
4. 模型上下文长度不断向百万级长度扩展 报告提出，被监测的模型中，上下文长度达到1M（1百万词元）的模型占比47.8%，200K及以上的合计达95.7%，相比2025年底的占比提高超过76个百分点，而低于200K的模型占比持续减少。
国内大模型上下文长度占比情况
来源：中国信通院
5. 开源模型词元服务性能提升显著，同一模型在不同平台性能波动较大 报告提出，5月份更新了4款开源模型的新版本进行监测，结果显示TPS持续提升，TTFT时延不断压缩。例如8月份DeepSeek-V4-Pro的TPS已达到DeepSeek-V3.2的2倍。时延方面，5月份主要模型完成换代升级后，TTFT普遍出现阶段性上升，随着推理优化措施落地，时延指标逐步回落至换代前水平。同时，4款模型在不同平台上的TPS、TTFT、调用成功率表现不一。部分第三方平台性能明显优于官方平台提供的模型服务，同一模型在不同平台间的TPS差距最大可接近一倍。各平台对相同模型的推理加速、优化策略、成本控制不同，是造成性能分化的主要原因。
开源模型性能综合对比图
来源：中国信通院
