瓶颈正从买卡转向调度,一天 500 万亿词元说明了什么
2026 年 11 月 17 日,央视财经披露,国内日均词元调用量已经突破 500 万亿。同一周,OpenAI 发布 GPT-6.2 Astra 和 Sol,官方称旗舰型号比上代少输出 22% 的词元,API 价格下调 20%。两条消息放在一起看,指向同一个结论:这一轮降本,主要不是靠买更多卡,而是靠调度和词元效率。
一、500 万亿是什么量级
词元是大模型读和写的最小计量单位。你发一句问题,模型读进去的是词元,吐出来的也是词元。所以词元调用量可以直接理解为模型的吞吐量。
一天 500 万亿是什么概念。它说明大模型调用已经从试点流量变成日常基础设施级别的量。这个数字的来源是央视财经 11 月 17 日的报道,界面、新浪、第一财经当天都有转载,口径一致,属 B 级。
数字本身不复杂,值得追问的是它带来的压力。调用量上去了,算力必须跟上。而报道里同时给了一句判断:智能算力短期补不上,只能向存量要效益。
这句话是整条新闻里信息量最大的部分。它等于承认,在硬件供给受限的前提下,行业只能从已有算力里找效率。
二、PD 分离:把读题和答题拆开
向存量要效益不是空话,有具体的技术路线。报道提到郑纬民院士团队的大模型推理系统 Mooncake,2025 年拿下埃里克·里德尔最佳论文奖,核心是 PD 分离。
PD 分离的全称是 Prefill 与 Decode 分离。理解它只要记住模型回答一个问题分两个阶段。第一个阶段叫 Prefill,模型把用户的问题整段读进去,建立上下文。第二个阶段叫 Decode,模型一个字一个字往外生成回答。
这两个阶段的脾气完全不同。Prefill 是计算密集的,适合大算力短时间冲一波。Decode 是内存带宽密集的,要求长时间稳定输出。传统部署里,同一批机器轮流干这两件事,等于让一台机器一会儿干重活一会儿干细活,两边的效率都打了折扣。
PD 分离的做法是拆开:一组机器专门读题,读完把中间结果传给另一组专门答题。每组的硬件配置和调度策略都可以按自己的特点优化。
效果有具体数字:同样硬件规模下,系统多承接 75% 的用户请求,长文本吞吐提升 5 倍以上。这两个数字出自央视财经的报道,属 B 级转述,不是论文原文。
这里要划一条边界。多承接 75% 是特定系统在特定场景下的实测结果,不等于任何一套推理服务照搬这套架构就能涨 75%。工程收益取决于业务的长短文本比例、并发特征和硬件型号。把单点实测当通用比例,是最常见的误读。
三、同一天的另一条线:OpenAI 降价
把视线挪到海外,同一天发生的事方向一致。
OpenAI 在 11 月 17 日发布 GPT-6.2 Astra 和 Sol。按官方发布说明和开发者文档,Astra 定位复杂项目,Sol 定位日常主力。价格上,Astra 的 API 输入与输出各降 20%,缓存输入降 60%,分别到每百万词元 8 美元输入、40 美元输出、0.4 美元缓存输入。Sol 沿用上一代定价,每百万词元 2 美元输入、10 美元输出。
效率上,官方称 Astra 在 GDPval v2 上比上代高 6.2 个百分点,同时减少 22% 的输出词元。Sol 在 FrontierCode 2.0 上只落后 Astra 0.5 分,成本约为五分之一。
这几组数字说明同一件事:厂商在同时压两个变量,一个是每次任务的词元消耗,一个是每百万词元的单价。前者靠模型训练和输出风格,后者靠定价策略。两条一起压,单位任务成本下降的幅度会比单看价格更大。
不过官方基准要打折看。第三方已经出现不同声音,有参与早期测试的开发者报告长任务容易卡住、输出过度压缩导致可读性下降。这些是使用侧反馈,不是基准分数能反映的。我在上一段引用的都是官方口径,标注为 A 级仅代表来源权威,不代表独立验证。
四、怎么分辨真降本和补贴换量
降价有好几种动机,结果完全不同。
第一种是真效率提升。模型用更少的词元完成同样的任务,成本结构真的变好了,降价可以持续。
第二种是补贴换份额。厂商烧钱把价格打下来抢调用量,成本结构没变,价格随时可能回去。
第三种是清库存式的定价。老型号降价给新model让路,属于产品周期,不是行业趋势。
怎么分辨。看两个季度,把 API 价格曲线和调用量曲线叠在一起。价格降、调用量同步涨、厂商毛利没崩,多半是真效率。价格降、调用量没动或者厂商开始限制配额,多半是补贴。
这套判据不完美,但比看发布会 PPT 靠谱。它至少要求两件独立的事同时成立。
五、接下来盯什么
第一,PD 分离这类调度方案会不会从论文和自建集群,走进云厂商的标准产品。如果变成开箱可用的能力,中小团队的推理成本会实质下降,这比任何一次降价的影响都更广。
第二,词元调用量的增速能不能维持。500 万亿是当下的读数,如果增速掉下来,说明需求侧碰到付费能力的边界,那时候算力缺口的叙事要重写。
第三,国产算力在推理侧的适配进度。训练侧受制于先进制程,推理侧对制程的敏感度低一些,这是国产卡最现实的突破口。
把三件事收拢成一句:这一轮的关键变量,已经从有没有卡,变成同样一批卡能跑出多少有效词元。前者是采购问题,后者是工程问题。工程问题的解法通常更便宜,也更难被卡住。
以上为 AI 算力产业科普,基于公开报道整理,不构成任何投资或买卖建议。
发布设置(点发布那一次一次填完):话题 AI 算力 / 大模型 / 行业观察。内容来源=新闻报道(只选类型)。创作声明=包含 AI 辅助创作。封面用横版(1200×675)。绝不点发布以外的自动化动作。
三、选题口径自查(本轮新增)
| 检查项 | 结论 | |---|---| | 与 AI 的关系 | 主线即 AI 算力供需:词元调用量 → 推理效率 → 单位智能成本 | | 所属线 | 产业线(周三),口径=AI 算力 / 大模型产业动态 ✅ | | 行业矩阵阶段 | M1(AI 算力,即刻)✅;未碰 M2/M3/M4 | | 证据等级 | 500 万亿=B(央视财经 + 三家转载);GPT-6.2=A(官方文档)+ B(多家媒体) | | 未核实项 | Mooncake 的 75% / 5 倍为报道转述,未读论文原文;未取得当日调用量的独立第三方口径 |