• 回答数

    0

  • 浏览数

    41

  • 收藏数

    0

作者:feels 发表于 4 天前
跳转到指定楼层
AI 总结 • 11月13日,开发者Georgi Gerganov在X平台宣布,开源AI推理项目llama.cpp与底层机器学习引擎ggml的库版本迈入1.0.0。 • 本次更新明确接口兼容性规则,llama.cpp与ggml今后通过主版本号升级标记API或ABI不兼容变化,便于开发者判断升级是否需要同步修改应用。 • llama.cpp已支持超过150种模型架构变体及主流推测解码方法,ggml通过专用后端支持不同硬件,每个后端可编译为动态库并按需在运行时加载。 • 团队扩展了CI基础设施,使用Hugging Face的HF Buckets和HF Jobs,并在NVIDIA、AMD、Qualcomm、Arm、IBM、Intel硬件支持下增加自托管测试运行器,扩大跨平台测试覆盖。 • 开发流程中审慎使用LLM,同时继续将代码质量、架构控制和对实现细节的理解放在首位。 【消息来源与背景】 IT之家 11 月 14 日消息,开发者 Georgi Gerganov(X 账号为 @ggerganov)昨日(11 月 13 日)在 X 平台发布推文,宣布开源 AI 推理项目 llama.cpp 与底层机器学习引擎 ggml 的库版本迈入 1.0.0。 IT之家查询公开资料,Gerganov 是开源项目 llama.cpp 的创建者,也是 ggml、 whisper.cpp 等本地 AI 基础软件的重要开发者。 他在个人 X 简介中将自己标注为 Hugging Face 工程师,GitHub 资料所在地为保加利亚索非亚。 【项目定位】 llama.cpp 是一个主要用 C/C++ 编写的开源 AI 推理项目,核心作用是让大语言模型在个人电脑、服务器等不同硬件上运行。 它既可以用于本地部署,也可以用于云端服务,目标是降低部署复杂度,并充分利用设备的计算能力。 【接口兼容性规则】 本次更新最大的亮点就是明确接口兼容性规则: 项目:llama.cpp,库:libllama,定位:C/C++ 大模型推理库 项目:ggml,库:libggml,定位:底层机器学习张量库 两者今后都会通过主版本号升级,明确标记 API 或 ABI 不兼容的变化,让依赖这些库的应用能够识别升级边界。 对于开发者而言,可以从版本号上,更容易判断某次升级是否可能要求自己的应用同步修改。 【版本规则】 官方给出的版本规则是: MAJOR,例如 1.x.x → 2.0.0:./include 中公共 C API 出现破坏性变更;公告同时明确,API / ABI 不兼容会通过主版本升级体现。 MINOR,例如 1.0.x → 1.1.0:向后兼容的功能、后端更新、模型支持或 API 新增。 PATCH,例如 1.0.0 → 1.0.1:不改变 API 的 bug 修复。 【工程质量】 在工程质量方面,官方公告称为了支撑持续加快的开发节奏,团队强调了三项投入: 使用 Hugging Fac ...
该板块内容需要购买后才能完整浏览
立即购买
分享:
回复

使用道具

成为第一个回答人

高级模式 评论
您需要登录后才可以回帖 登录 | 立即注册
⚠️

AI客服助手

⇲ ×
AI
您好!我是AI客服助手,有什么可以帮助您的吗?

请先登录后使用AI客服助手

立即登录
内容由非常AI大模型生成,仅供参考,相关风险需自行承担。

赚钱

会员VIP

留言板

商务合作

联系电话:17308937318

QQ邮箱

QQ:118275

邮箱:118275@qq.com

友情链接