• 回答数

    0

  • 浏览数

    10

  • 收藏数

    0

作者:nbman 发表于 20 小时前
跳转到指定楼层
AI 总结 • 中国信通院发布《大模型词元服务性能监测报告(2026 年)》,数据显示 2026 年 6 月国内词元日均消耗量约 500 万亿,是 2025 年 12 月的近 4 倍。 • 8 月份国内各模型平均 TPS 达到 78.23 个/秒,较 2025 年翻倍,但仍低于国外典型模型的 112.82 个/秒; • 同时国内外首词时延均有上升,主要是因模型参数量、上下文长度及调用量增加所致。 • 2026 年词元服务价格明显回升,国内均价涨至 13.46 元,涨幅接近一倍,但国外典型模型平均归一价格仍高达 117.8 元。 • 市场呈现百万级上下文扩展趋势,被监测模型中 1M 上下文占比达 47.8%,200K 及以上合计占 95.7%。 • 开源模型如 DeepSeek-V4-Pro 的 TPS 达到旧版本的 2 倍,性能提升显著,但同一模型在不同第三方平台上的性能波动较大,差距最大可接近一倍。 【IT之家 10 月 24 日消息】据中国信通院,随着大模型技术的迅速迭代,词元(Token)服务成为从技术走向应用的关键点,我国日均词元调用量持续攀升,2026 年 6 月,国内词元日均消耗量约 500 万亿,是 2025 年 12 月的近 4 倍。 产业中越来越多的 MaaS(Model as a Service,模型即服务)平台厂商通过公有云 API 方式供给大模型词元服务。 然而用户对词元服务性能缺乏直观的判断依据,且面临选型困难等各类问题。 为有效衡量服务性能,中国信息通信研究院(简称“中国信通院”)人工智能研究所、人工智能大模型及软硬件评测工业和信息化部重点实验室和中国人工智能产业发展联盟,自 2025 年以来持续开展公有云大模型词元服务性能监测工作,为产业应用提供重要参考,现联合发布《大模型词元服务性能监测报告(2026 年)》。 报告基于 2026 年 1-8 月的监测数据,围绕各平台词元服务调用成功率、吞吐速度、首词时延、稳定性、价格、上下文窗口等维度开展分析,对比原厂大模型官方平台,以及 DeepSeek、Qwen、GLM、Kimi 四款开源模型在第三方平台上的性能差异,进一步分析影响词元服务性能的关键因素,总结产业核心观察,明确下一步工作计划,旨在为用户选型提供参考,并为产业界优化服务能力提供方向指引。 【IT之家附报告核心观点:】 1. 国内词元服务每秒吞吐量较 2025 年翻倍,仍低于国外 报告提出,8 月份国内各模型平均 TPS(每秒输出词元数)达到 78.23(个 / 秒),与 2025 年均值 38.25(个 / 秒)相比实现翻倍。 但 8 月份国外典型模型的 TPS 均值为 112.82(个 / 秒),与 2025 年 12 月的 51.35(个 / 秒)相比 ...
该板块内容需要购买后才能完整浏览
立即购买
分享:
回复

使用道具

成为第一个回答人

高级模式 评论
您需要登录后才可以回帖 登录 | 立即注册
⚠️

AI客服助手

⇲ ×
AI
您好!我是AI客服助手,有什么可以帮助您的吗?

请先登录后使用AI客服助手

立即登录
内容由非常AI大模型生成,仅供参考,相关风险需自行承担。

赚钱

会员VIP

留言板

商务合作

联系电话:17308937318

QQ邮箱

QQ:118275

邮箱:118275@qq.com

友情链接