让 AI 学会“挑刺”：根据说明书 + 照片指出家具是否装错，OpenAI GPT-6 Astra 准确率

AI 总结
• Epoch AI 于 9 月 23 日发布家具组装基准测试（FAB）结果，旨在评估 AI 结合说明书与照片识别现实世界装配错误的能力，该测试使用 60 张故意错误组装的宜家家具照片进行考核。
• OpenAI GPT-6 Astra 以 80% 的准确率位居榜首，相比 2025 年底的领先模型提升近三倍；
• Anthropic 的 Claude Fable 5.1 和 Claude Opus 5 分别以 70% 和 61% 的准确率位列其后。
• GPT-6 Astra 在效率上也表现突出，完成单张照片分析的中位耗时约 3 分钟，比此前领先模型快 2 至 10 倍，但研究团队认为其距离真正意义上的实时识别仍有差距。
• 研究显示不同模型的错误模式存在差异，谷歌 Gemini 和阿里 Qwen 倾向于先假设存在错误，而早期模型常完全找不到错误；
• 错误隐蔽性和组装程度比家具复杂度指数对结果影响更大。
• 中国模型方面，开源权重模型 Kimi K3 表现最佳，但相比国际前沿模型落后约 7 个月，大于其在综合能力评估中的差距，且 DeepSeek V4 Pro、GLM 5.3 等热门模型暂未提供图像支持。

【IT之家 9 月 26 日消息】Epoch AI 于当地时间 9 月 23 日进行了一组家具组装基准测试（Furniture Assembly Benchmark，FAB）。

结果显示，多模态 AI 在识别宜家家具组装错误方面取得明显进展。

其中，OpenAI 最新的 GPT-6 Astra 在该基准测试中达到 80% 的准确率，相比 2025 年底提升近三倍。


【什么是 FAB 测试？

】
FAB 是一项专门评估 AI 理解现实世界装配过程能力的测试。

该测试用 60 张宜家家具组装过程照片评估 AI 模型的视觉与空间推理能力。

测试人员选取三款宜家家具故意错误组装，并拍摄不同阶段的照片，要求 AI 将照片与官方安装说明书进行比对，找出错误位置并说明具体问题。

研究团队认为，这类能力与汽车维修、家电检修等需要结合图像和技术说明进行判断的任务具有较高相关性，因此具有一定实际应用价值。



在测试时，AI 不仅会获得组装时的照片，还会同时获得官方 PDF 说明书、图片放大工具以及 Python 解释器，需要判断是否存在错误，并指出具体出错步骤和问题描述。

评分采用多阶段验证，只要模型能够正确定位错误步骤并大致说明问题，即可获得相应分数。

这项测试并非考察 AI 是否会背诵说明书，而是更接近真实使用场景：用户只需拍摄组装中的家具，AI 便需要判断零件是否装反、安装顺序是否错误，或是否遗漏了关键部件。

Epoch AI 认为，这类任务结合了图像理解、空间推理以及多步骤指令匹配能力，因此能够较好反映多模态模型处理现实问题的水平。

随着相关能力提升，未来 AI 有望在家具组装、设备安装、维修指导等场景中提供更具针对性的实时辅助。


【模型排名与效率提升】
结果显示，OpenAI GPT-6 Astra 以 80% 的准确率位居榜首，Anthropic Claude Fable 5.1 和 Claude Opus 5 分别达到 70% 和 61%。

相比之下，2025 年 11 月时的领先模型 Claude Opus 4.5 准确率仅为 28%，意味着前沿模型在约 10 个月内实现了显著提升。



除了准确率提升，GPT-6 Astra 的推理效率也明显改善。其完成单张照片分析的中位耗时约为 3 分钟，是研究中速度最快的模型，比此前领先模型快约 2 至 10 倍。

不过，研究团队认为，这一速度距离真正意义上的实时识别仍有一定差距。

研究还分析了不同模型的错误。例如，谷歌 Gemini 和阿里 Qwen 系列模型几乎总是先假设存在错误再去找错误；而早期 Anthropic 和 OpenAI 模型则相反，经常完全找不到错误。


【中国模型的表现】
研究者认为，不同家具对模型难度的影响与宜家复杂度指数无明显关联，错误隐蔽性、视角及错误后继续组装的程度影响更大。

在中国模型中，目前表现最好的开源权重模型 Kimi K3 相比国际前沿模型约落后 7 个月，这一差距比其在综合能力评估中的约 4.4 个月差距更大。

研究认为，视觉推理能力仍是当前部分中国模型相对薄弱的方向，而 DeepSeek V4 Pro、GLM 5.3 等热门模型暂未提供图像支持。



[来源链接] https://www.ithome.com/1/007/414.htm