• 回答数

    0

  • 浏览数

    33

  • 收藏数

    0

作者:admin 发表于 3 天前
跳转到指定楼层
AI 总结 • LG U+ 将于明年进军 AI Token 业务,利用自主研发的 Token 优化技术,帮助企业降低 AI 转型(AX)成本。 • 该服务包含三项技术:用于设计 Agent 任务执行路径的 Harness Engineering、根据问题类型分配模型的智能路由,以及为优化推理过程而采用异构半导体的芯片组合。 • 通过模型轻量化和推理技术,LG U+ 自研端侧 AI 模型体积缩小三分之一,性能仍达到通用云端模型的 95% 以上; • 结合小模型快速生成答案、大模型验证的方式,Token 生成速度提升两倍以上。 • 基础设施方面,LG U+ 采用芯片组合策略,将英伟达、AMD GPU 与 FuriosaAI 的 NPU 结合,分别处理问题分析和答案生成任务,以降低基础设施成本。 • LG U+ 将同时采用与合作伙伴联合服务和自主建设两种方式,从明年起全面进军 B2B AI Token 市场; • 随着其加入,韩国三大电信运营商将全部进入 Token 经济领域。 【韩国电信运营商 LG U+ 明年进军 AI Token 业务】 IT之家 11 月 15 日消息,据韩媒 Etnews 今天报道,韩国电信运营商 LG U+ 将于明年进军 AI Token 业务,利用自主研发的 Token 优化技术,帮助企业降低 AI 转型(AX)成本。 【三大核心技术】 据介绍,这项服务拥有用于设计 Agent 任务执行路径的“Harness Engineering”、根据问题类型分配模型的“智能路由”,以及为优化推理过程而采用异构半导体的“芯片组合”三项技术。 【减少重复搜索与验证】 IT之家从原报道获悉,LG U+ 将减少 AI Agent 执行任务时不必要的重复搜索和验证,并根据任务难度匹配最合适的模型。 【端侧模型性能提升】 同时结合模型轻量化和推理技术,该公司的自研端侧 AI 模型在体积缩小三分之一的情况下,性能仍达到通用云端模型的 95% 以上。 【Token 生成速度提升】 通过让小模型快速生成答案、再由大模型进行验证的技术,Token 生成速度提升两倍以上。 【基础设施成本优化】 基础设施方面,LG U+ 采用芯片组合策略,将英伟达、AMD GPU 与韩国本土企业 FuriosaAI 的神经网络处理器(NPU)结合使用,分别处理问题分析(Prefill)和答案生成(Decode)任务。 通过将需要大规模计算的任务与对内存带宽要求较高的任务分开处理,降低基础设施成本。 【全面进军 B2B AI Token 市场】 LG U+ 将同时采用与合作伙伴联合提供服务和自主建设两种方式,从明年开始全面进军 B2B AI Token 市场。 随着 LG U+ 加入,韩国三大电信运营商将全部进入 Token 经济领域。 [来源链接] https://www.it ...
该板块内容需要购买后才能完整浏览
立即购买
分享:
回复

使用道具

成为第一个回答人

高级模式 评论
您需要登录后才可以回帖 登录 | 立即注册
⚠️

AI客服助手

⇲ ×
AI
您好!我是AI客服助手,有什么可以帮助您的吗?

请先登录后使用AI客服助手

立即登录
内容由非常AI大模型生成,仅供参考,相关风险需自行承担。

赚钱

会员VIP

留言板

商务合作

联系电话:17308937318

QQ邮箱

QQ:118275

邮箱:118275@qq.com

友情链接