告别知识截止日：谷歌让 AI 学会“睡觉”，边用边学还不忘旧知识

AI 总结 • 谷歌研究团队于10月27日发布“睡眠框架”研究成果，试图解决大语言模型发布后知识固化及新信息难以吸收的难题 • 该框架借鉴人类睡眠机制，将模型运行划分为处理输入的“清醒阶段”和进行记忆整合与自我改进的“睡眠阶段” • 在睡眠阶段，通过参数扩展、混合专家记忆块和知识蒸馏实现记忆巩固，利用强化学习让模型生成并筛选合成样本进行练习以提升推理能力 • 实验表明，该框架在持续翻译、长上下文理解、事实知识吸收和数学推理等任务中优于多种基线方法 • 模型可处理最长约1000万token的上下文，在未见过语言的多阶段持续学习中性能下降接近零，并在AIME 24/25等数学基准上取得更高准确率 - [来源链接] https://www.ithome.com/1/020/044.htm

该板块内容需要购买后才能完整浏览

立即购买