蚂蚁百灵开源 Ling-3.1-flash AI 模型，最高支持 1M 上下文

AI 总结
• 10月16日消息，蚂蚁百灵开源Ling-3.1-flash模型，总参数约560B，每个Token激活约25B，最高支持1M上下文。
• 该模型在Artificial Analysis评测中智能指数为41，输出速度约每秒210 Token；
• 针对本地部署采用MXFP4量化等技术，将权重占用从约534GB降至292GB，在Hopper GPU上将服务部署从8卡降至4卡。
• 团队通过算子融合与DSpark投机解码优化推理，在8卡配置下平均首Token时间仅为604毫秒，相邻输出Token平均间隔3.28毫秒；
• 在4卡吞吐测试中达到约1.36 QPS，满足P50首Token小于3秒等约束。
• 在线体验方面，目前提供限时2.5折优惠，OpenRouter输入价格为0.075美元，Ling Studio输入价格为0.5元人民币。
• 模型已在Hugging Face和ModelScope等平台开源，相关开源链接已公布。

【开源发布】
IT之家 10 月 16 日消息，蚂蚁百灵昨日宣布开源 Ling-3.1-flash 模型，Ling-3.1-flash 总参数约 560B，每个 Token 激活约 25B，最高支持 1M 上下文。


【评测表现】
在 Artificial Analysis 的公开评测中，Ling-3.1-flash 的智能指数为 41、输出速度约为每秒 210 Token。




【部署优化】
针对本地部署，团队对 routed experts 采用 MXFP4 量化、dense 层保持 block-FP8，权重占用从约 534GB 降至 292GB 。

在对应的 Hopper GPU 测试配置中，服务部署由 8 卡降至 4 卡 ，让具备服务器级 GPU 的团队以更少卡数运行模型；

实际需求仍随上下文、并发量和服务配置而变。

针对长资料处理，团队提供长上下文并行推理方案（PCP / DCP）；工具调用也加强了对 JSON Schema 的支持，方便与现有业务接口对接。

企业知识问答、办公助手常要先读取较长资料，用户仍希望尽快看到回复。

【推理性能】
团队通过算子融合与 DSpark 投机解码减少推理开销：在平均输入约 25.47K Token、输出约 224 Token、缓存命中率为 76% 的模拟生产请求中， 8 卡 Hopper 配置下的平均首 Token 时间为 604 毫秒 ，相邻输出 Token 平均间隔为 3.28 毫秒 。

这为长资料输入后的交互响应提供测试参考。

持续提供服务的业务系统，还需要在固定 GPU 预算内评估单实例能承接多少请求。

在平均输入约 8.5K Token、输出约 800 Token 的 4 卡 Hopper 吞吐测试中，模型达到约 1.36 QPS ，同时满足首 Token 时间 P50 小于 3 秒、相邻输出 Token 间隔 P90 小于 70 毫秒的测试约束。

这为自有部署的容量规划提供参考。
【定价优惠】
在线体验方面，Ling-3.1-flash 目前提供限时 2.5 折优惠，优惠后价格如下：

OpenRouter （美元计价）：输入 0.075 美元；输出 0.225 美元；缓存读取 0.015 美元。

Ling Studio （人民币计价）：输入 0.5 元；输出 1.5 元；缓存读取 0.1 元。

IT之家附开源链接：

Hugging Face： https://huggingface.co/inclusionAI/Ling-3.1-flash

ModelScope： https://modelscope.cn/models/inclusionAI/Ling-3.1-flash

相关阅读：

《 蚂蚁百灵发布 Ling-3.1-flash 模型：约 560B 总参数、25B 激活参数 》

[来源链接] https://www.ithome.com/1/013/700.htm