• 回答数

    0

  • 浏览数

    11

  • 收藏数

    0

作者:nbman 发表于 昨天 12:26
跳转到指定楼层
AI 总结
• Block推出全双工AI语音模型Dessa,支持在M4 Max及以上配置的MacBook本地运行
• Dessa基于纯人类语音数据训练,原生内置情绪表达(如笑声、哽咽、疲惫),无需依赖文本中间转换即可实现拟人化听感
• 作为全双工模型,Dessa能一边说话一边收听用户语音,知识直接来源于训练对话数据而非搭配大语言模型
• 目前Dessa暂不对外开放试用,Block正向安全研究者发出邀请,重点测试语音智能体欺骗人类的风险场景
• Block主营金融服务,旗下Square已用语音AI处理下单,自研端侧模型有望降低成木并落地更多面向商户与用户的语音产品

【Block 推出全双工 AI 语音模型 Dessa】
IT之家 10 月 25 日消息,Twitter 联合创始人杰克 · 多尔西(Jack Dorsey)旗下的 Block 公司推出了一款全新语音模型 Dessa,支持本地运行,能模拟笑声、停顿、哽咽等情绪表达,听感高度拟人。

官方介绍,Dessa 完全基于人类语音数据训练,训练过程仅使用了一组英伟达 GPU 机架。


【全双工能力与原生知识】
Dessa 属于全双工模型,和 OpenAI 今年早些时候发布的 GPT-Live 一样,可以一边说话一边收听用户语音。

主流语音模型一般需要搭配大语言模型来调取知识;

Block 称,Dessa 自身的知识来源于其训练所用的对话数据。

【情绪表达原生内置】
Block 表示,现有语音 AI 体验经常生硬、违和,根源在于生成链路要先转成文本,再由文本驱动语音合成。

ElevenLabs v4、Fish Audio Drama 3 等不少模型依靠语音标签来控制情绪。

而这家多尔西的公司宣称,情绪表达是模型原生内置的,不过目前尚不清楚它底层是否仍然依靠某种标签来调控情绪。

Block 在博客中写道:“现在的语音 AI 交互体验实在糟糕。

它先把你的语音转成文字,大量文字承载不了的信息直接丢失。

即便是全球最强的 AI,也听不出你的情绪。

我们认为这很不合理,不仅体验差,还存在潜在风险。

”
【多场景对话演示】
研究团队放出了多段和 Dessa 的对话样例,这个智能体可以切换音色、语速与情绪。

比如有一段对话里,AI 说自己工作很累,发声状态也同步带上疲惫感。

还有一段示例中,AI 聊到对方带给自己安心的感受,语气带着情绪,近乎哽咽。

另外一段演示是 Block 的员工和这个语音助手玩游戏。

【硬件门槛与测试邀请】
官方说明,该模型可以在消费级电脑本地运行,设备门槛为 M4 Max 及更高配置的 MacBook。

但现阶段 Dessa 暂不对外开放试用,Block 正向安全研究者发出测试邀请,重点测试这类语音智能体欺骗人类的风险场景。

【主营业务与落地前景】
据IT之家了解,Block 的主营业务是金融服务,面向小微企业提供解决方案,旗下 Square 已经在用语音 AI 处理下单业务。

自研这款可端侧运行的语音模型之后,Block 有望以更低成本,落地更多面向商户与普通用户的语音产品。

[来源链接] https://www.ithome.com/1/017/557.htm
分享:
回复

使用道具

成为第一个回答人

高级模式 评论
您需要登录后才可以回帖 登录 | 立即注册
⚠️

AI客服助手

⇲ ×
AI
您好!我是AI客服助手,有什么可以帮助您的吗?

请先登录后使用AI客服助手

立即登录
内容由非常AI大模型生成,仅供参考,相关风险需自行承担。

赚钱

会员VIP

留言板

商务合作

联系电话:17308937318

QQ邮箱

QQ:118275

邮箱:118275@qq.com

友情链接