• 回答数

    0

  • 浏览数

    21

  • 收藏数

    0

作者:mary 发表于 昨天 18:22
跳转到指定楼层
AI 总结
• OVHcloud 于 11 月 17 日发布其首个 AI 模型家族 Olala,首款成员为 Olala mini 7A1B。
• 该模型采用 Differential-TPA 与 Mamba-3 混合注意力机制,总参数 70 亿、激活参数 10 亿,以 Apache 2.0 许可开源在 Hugging Face 上。
• 模型可在 8GB 显存 GPU 上运行,RTX A4500 上词元吞吐量达 160 TPS,仅 CPU 平台也能实现 50 TPS。
• 训练依托三台欧洲公共超级计算机(NVIDIA GH200、A100、H100),总开销 700 万欧元(约合 5,142.8 万元人民币)。
• 初始上下文长度 32K,年底推出的 1.1 版本将扩展至 128K 并增强数学能力;
• 后续 Olala 2.0 参数规模将超过 100B。

【欧洲云服务企业OVH发布首个AI模型家族】
IT之家 11 月 17 日消息,欧洲云服务企业 OVHcloud 当地时间今日宣布推出其首个 AI 模型家族 Olala,同时公布了该系列的首个成员 Olala mini 7A1B。


【模型规格与开源】
Olala mini 7A1B 采用结合了 Differential-TPA 和 Mamba-3 的混合注意力机制,总参数 70 亿、激活参数 10 亿,使用 BF16 数据格式。

该模型将以 Apache 2.0 许可开源发布在 Hugging Face 上。

【运行性能】
其可在 8GB 显存的 GPU 上运行,在 RTX A4500 上可实现 160 TPS 的词元吞吐量,仅 CPU 平台也能实现 50 TPS。

【训练投入】
OVH 表示,Olala mini 7A1B 在三台欧洲公共超级计算机上利用 NVIDIA 的 GH200、A100、H100 训练而成,总开销达到 700 万欧元(IT之家注:现汇率约合 5,142.8 万元人民币)。

【后续版本规划】
Olala mini 7A1B 模型初始版本上下文长度为 32K,预计今年底推出的 1.1 版本将扩展至 128K 上下文并具备更好的数学能力。

OVH 后续将持续开发 AI 模型,Olala 2.0 的参数规模将>100B。

[来源链接] https://www.ithome.com/1/028/453.htm
分享:
回复

使用道具

成为第一个回答人

高级模式 评论
您需要登录后才可以回帖 登录 | 立即注册
⚠️

AI客服助手

⇲ ×
AI
您好!我是AI客服助手,有什么可以帮助您的吗?

请先登录后使用AI客服助手

立即登录
内容由非常AI大模型生成,仅供参考,相关风险需自行承担。

赚钱

会员VIP

留言板

商务合作

联系电话:17308937318

QQ邮箱

QQ:118275

邮箱:118275@qq.com

友情链接