OpenAI 部署 GPT-5.6 优化模型自身推理性能，端到端服务成本最多降低 20%

IT之家 7 月 30 日消息，OpenAI 公司昨日（7 月 29 日）发布博文，宣布通过 GPT-5.6 Sol 模型， 来优化 GPT-5.6 系列模型本身 AI 推理链路，端到端服务成本最多降低 20%。

OpenAI 于 7 月 9 日推出其最强 AI 模型 GPT-5.6 系列，在后续的架构优化过程中，官方团队利用 GPT-5.6 Sol 模型来优化自身运行效率，降低计算成本、提高 GPU 利用效率。

OpenAI 公司称，系统会按地域、可用容量和加速器类型分配请求；

集群内部还会参考负载、上下文长度、缓存可用性等因素分发任务。

GPT‑5.6 Sol 通过 Codex 分析生产流量、识别负载失衡来源、测试路由策略并调整启发式规则。

在模型前向传播环节，GPT‑5.6 Sol 识别可预计算、可避免或可并行的工作，并通过 Codex 自主改写和优化生产环境中的 GPU 内核。IT之家附上相关截图如下：



团队让 GPT-5.6 Sol 模型学习 Triton 和 Gluon 两种编程语言，让模型据此优化推理引擎内核，使生产环境 GPU 内核带来的端到端服务成本最多降低 20%。



OpenAI 还使用开源工具 FpSan（浮点数清理器）验证 GPT‑5.6 Sol 编写内核的正确性。

OpenAI 还让 GPT-5.6 Sol 优化推测性解码（speculative decoding）。

这项推理加速技术由较小的草稿模型预测下一个 token，再由主模型验证或修正预测结果。

OpenAI 在 2026 年 7 月 29 日的公开帖文中称，改进后 token 生成效率提升超过 15%。

[来源链接] https://www.ithome.com/0/983/590.htm