“AI 教父”辛顿提议 AI 行业建立 FDA 式审批机制：模型推出前需通过安全审核

AI 总结 • 10月7日消息，被誉为“AI教父”的诺贝尔奖得主杰弗里·辛顿在播客中提议，AI企业应仿照制药行业建立类似FDA的审批机制，模型在正式发布前需向监管机构证明具备安全性。 • 辛顿指出，新药研发需说服FDA并投入约十亿美元级别的安全验证工作，他认为人工智能领域至少应当设立同等严格的要求。 • 该提议背景包括各界对AI灾难性后果的担忧，以及OpenAI因权限管控和行为日志反馈短板而搁置最新模型GPT-6.1 Astra的事件。 • 辛顿警告称，AI正在通过递归式自我改进实现指数级加速，这既提升能力也放大风险。 • 辛顿推测，距离局面远比现在糟糕可能只剩一两年时间。 【引言】 IT之家 10 月 7 日消息，杰弗里 · 辛顿（Geoffrey Hinton）希望 AI 企业跨过一道制药行业早已熟悉的监管门槛。 【提案：AI 产品上市前需通过安全审核】 在当地时间周二播出的《Smart Girl Dumb Questions》播客节目当中，这位被称作“AI 教父”的诺贝尔奖得主、计算机科学家提出建议：AI 公司在产品正式发布之前，必须先向监管机构证明自身产品具备安全性。 “你不能直接研制一款新药就把它推向市场。 ”辛顿对播客主持人纳伊玛 · 拉扎（Nayeema Raza）说道，“你必须说服美国食品药品监督管理局（FDA）。 而为了完成这件事，你需要开展大量工作，相关投入大约要十亿美元级别。 ” “对于人工智能而言，至少也应当设立这样的要求。 ”辛顿补充道。 【背景：AI 安全争议与 OpenAI 的顾虑】 辛顿针对 AI 安全争议提出这套解决方案的背景，一方面是各界不断出现关于 AI 带来灾难性后果的预判； 另一方面，OpenAI 在测试之后，出于对模型服从用户指令、恪守权限边界的担忧，已经搁置了自家最新模型。 IT之家注意到，OpenAI 安全系统负责人萨奇 · 贾恩（Saachi Jain）此前接受《商业内幕》采访时表示，GPT‑6.1 Astra 模型在持续处理高难度任务方面有所进步，但在权限管控以及行为日志反馈方面仍存在短板。 【风险：自我迭代可能放大潜在危险】 辛顿提出，人工智能正在越来越多地实现自我迭代优化，这既可能加速能力提升，同样也会放大潜在风险。 “指数级的增长速度是十分惊人的。”辛顿说，“我们已经开始看到递归式自我改进现象：人们正在以多种多样的方式，借助 AI 本身去改良 AI。” “当然，这仅仅属于我的推测。”辛顿补充说，“但我估计，距离局面远比现在糟糕，大概也就只剩一两年时间了。” [来源链接] https://www.ithome.com/1/010/187.htm ...

该板块内容需要购买后才能完整浏览

立即购买