• 回答数

    0

  • 浏览数

    30

  • 收藏数

    0

作者:mary 发表于 7 天前
跳转到指定楼层
IT之家 8 月 5 日消息,字节跳动 Seed 今日宣布推出 原生音视频全双工大模型 SeedRealtime , 走向全模态自然交互。

SeedRealtime 用统一架构原生融合音频、视频与文本,能在连续的多模态信息流上实时交互,带来“边看、边听、边说”的全新体验。它实现了以下三项核心突破:



音视频联合理解: 原生支持声音、画面与时序信息的深度融合。模型既能结合场景消解同音词歧义,也能准确理解视觉中的时序指代,让所见、所闻与所说融为一体。



主动的交互能力: 具备持续的环境感知与主动表达能力。模型能在察觉画面状态变化时(如关键目标出现)主动提醒,并能调用工具融入表达,让交互从被动响应升级为主动协作。



流畅的交互节奏 : 能够实时感知用户的对话状态与交流节奏,在适当时机自然接话、停顿与回应;同时具备较强的抗干扰能力,能分辨旁人闲聊与背景噪声,不因干扰误触发,保持沟通的流畅连贯。

端到端人工评测结果显示,相比级联模型,SeedRealtime 的音视频对话节奏问题减少了一半 —— 模型对说话时机的把握更加自然,“话未说完被抢断、话音已落却回应迟缓、或是被背景杂音与闲聊误触发”等卡壳现象显著减少;

同时,单次对话能够完整、顺畅交流的概率也有明显提升。



目前, SeedRealtime 已在豆包 App 全量上线 ,在业界率先实现了音视频全双工技术的规模化落地。将豆包 App 更新至最新版本,在对话框内选择“打电话”,进入视频通话界面体验即可。

IT之家附项目主页地址:

https://seed.bytedance.com/seedrealtime

[来源链接] https://www.ithome.com/0/985/891.htm
分享:
回复

使用道具

成为第一个回答人

高级模式 评论
您需要登录后才可以回帖 登录 | 立即注册
⚠️

AI客服助手

×
AI
您好!我是AI客服助手,有什么可以帮助您的吗?

请先登录后使用AI客服助手

立即登录
内容由非常AI大模型生成,仅供参考,相关风险需自行承担。

赚钱

会员VIP

留言板

商务合作

联系电话:17308937318

QQ邮箱

QQ:118275

邮箱:118275@qq.com

友情链接