美国科技巨头悄悄将中国AI模型纳入核心基础设施 GLM与Kimi受青睐

来源:钜亨网 #智谱# #月之暗面#
579

美国科技企业正悄然将中国开源AI 模型纳入生产基础设施,以压低成本并扩大应用规模。

加密货币交易所Coinbase 执行长Brian Armstrong 上周五(26 日) 表示,已将智谱最新发布的GLM 5.2 及北京月之暗面(Moonshot AI) 的Kimi 2.7,设定为内部工程师的预设大语言模型。

Armstrong 指出,随着顶尖美国模型服务成本持续攀升,Coinbase 在结合路由优化与快取改进后,AI 支出已削减近半,而Token 使用量仍维持指数级增长。这两款中国开源模型主要部署于常规任务场景,至于需要复杂规划的任务,工程师仍可选用前沿模型。

在程式码审查环节,Coinbase 更采用多模型并行策略,让不同模型相互校验输出结果,以维持品质标准。

Armstrong 将此次成本压缩归功于三层基础设施重构。首先是「智能路由」,系统会对提示词进行预处理,综合快取命中率与模型定价,自动将任务分发至最合适、最经济的模型;其次是「积极快取」,透过要求所有请求具备快取感知能力,LibreChat 的快取命中率从5% 跃升至60%;最后是「精简上下文」,建议在切换任务时开启新会话、缩小档案范围,以减少浪费的Token。

Armstrong 强调,这并非为了压制使用量,而是为了扩大AI 采用规模。他将此方法视为实现AI 使用量可持续扩张的关键,并认为任何企业都可借鉴此模式,在不设成本天花板的情况下,让工程师自由使用任意数量的Token 与模型,同时将使用量与业务影响挂钩。

这也显示中国开源模型在成本效益上的优势,正逐渐改变也全球科技企业的AI 部署策略。

责编: 爱集微
来源:钜亨网 #智谱# #月之暗面#
THE END
关闭
加载

PDF 加载中...