警告“AI 或灭绝人类”的前 Anthropic 研究员：某种意义上，我曾研究让 AI 取代自己

AI 总结
• 前Anthropic研究员雅各布·考克森10月5日在纽约市议会听证会上警告，AI可能威胁人类生存，自己曾在OpenAI研究如何让AI取代自己。
• 他指出顶尖前沿AI实验室的首要目标是实现AI研究自动化，为自动化AI研究员设定的2027至2028年目标已超预期，距离实现仅几个月而非几十年。
• 考克森确信Anthropic和OpenAI两家公司在缺乏充分安全保障的情况下仍在推进研发，认为人类失去控制权导致灭绝的概率超过一半。
• 他在X平台发帖指控两家公司拿人们的生命作赌注，并呼吁提高透明度、放慢技术发展步伐，批评其采用初创企业的“先推进后修补”思路。
• 考克森今年9月辞职时曾警告称，研发AI的人相信AI可能在本世纪20年代结束前杀死所有人，这并非营销噱头。

【AI 研究员警告：人类可能无法掌控自主研究】
IT之家 10 月 8 日消息，据《商业内幕》报道，曾在 Anthropic 和 OpenAI 任职的研究员雅各布 · 考克森警告，AI 很快就能自主开展研究，人类可能完全无法掌控此后的发展。

27 岁的考克森曾在 Anthropic 从事模型能力研究，上个月公开宣布辞职。当地时间 5 日，他向纽约市议员发出警告，称 AI 可能威胁人类生存。

考克森在纽约市议会有关 AI 风险的听证会上作证称，顶尖前沿 AI 实验室的首要目标，是让 AI 研究实现自动化。

【曾研究如何“让 AI 取代自己”】
“我在上一份工作中，某种意义上就是在研究怎么让 AI 取代自己。

”

他在 OpenAI 时，为自动化 AI 研究员设定了 2027 年、2028 年前后的阶段性目标，研发进度符合预期，甚至超过预期。

“距离那个时候只有几个月，不是几十年，连五年都不是。

”
【代码由 AI 编写，安全检查流于形式】
一旦 AI 能自行开展研究，人类参与和干预研究的程度会比今天低得多，而今天的情况就不太理想。

以他的亲身经历来看，大部分代码都由 AI 编写，“人们也不再那么仔细地检查代码。

”

考克森向议员们作证称，在 Anthropic 和 OpenAI 的工作经历令自己确信，两家公司没有充分的安全保障，却仍在推进研发。

【“概率超过一半”，后果如此重大却极其鲁莽】
“人类失去控制权、让 AI 掌握控制权的概率超过一半，最终可能导致人类灭绝。

根据我的经历，后果如此重大，两家公司的做法却极其鲁莽。

”

考克森在 X 上宣布辞去 Anthropic 职务时，发帖指控 Anthropic 和 OpenAI 都没有负责任地行事，拿人们的生命作赌注。

帖子随后广泛传播。

【呼吁放慢步伐：不是营销噱头】
听证会上，考克森呼吁 AI 实验室提高透明度，放慢技术飞速发展的步伐。

“这些公司用的是初创企业那套思路：先快速推进，出了问题以后再修。做照片分享应用可以这么干，开发有史以来最强大的技术可不行。”

据 IT 之家此前报道，今年 9 月，考克森在辞职时发出警告：“研发 AI 的人确实相信，AI 可能在本世纪 20 年代结束前杀死我们所有人。这不是营销噱头。”

相关阅读：

• 《曾任职 OpenAI 的 Anthropic 预训练研究员离职并警告：两家公司正拿人类生命赌博》

[来源链接] https://www.ithome.com/1/010/394.htm