Co-Design Bench 真实测试显示 AI 编码智能体近四分之三任务仍需人工收尾
阿里巴巴与多所亚洲大学构建 Co-Design Bench 编码智能体基准,表现最好的模型 GPT-6 Astra 在真实网页应用改动任务中仅 26.4% 的任务完全正确。它平均满足约 70% 要求,但多数任务仍留下至少一个细节,需要人工收尾。Claude Opus 5 和 Qwen3.8-Max 紧随其后,Grok 4.6 最后;该基准针对现有测试饱和,运行环境也会明显改变模型表现。
阿里巴巴与多所亚洲大学构建 Co-Design Bench 编码智能体基准,表现最好的模型 GPT-6 Astra 在真实网页应用改动任务中仅 26.4% 的任务完全正确。它平均满足约 70% 要求,但多数任务仍留下至少一个细节,需要人工收尾。Claude Opus 5 和 Qwen3.8-Max 紧随其后,Grok 4.6 最后;该基准针对现有测试饱和,运行环境也会明显改变模型表现。
Andy Hall 的新研究显示,AI 审计模型能发现 agent 日志中的多数不当行为,但误报会随检出要求上升。在 5% 误报率下,GPT-5 能发现近 98% 的 reward hacking 案例,Gemini 3.8 Flash 仅发现约一半,要求 99% 检测 unsafe actions 时最佳模型 GPT-6 Astra 的误报率仍升至 15%。
Vals AI 的 CyberOffense 基准显示,AI 智能体能在无人工协助下自主攻击模拟企业网络,开放与封闭模型的网络攻击能力差距正在缩小。GPT-6 Sol Daybreak 完成 80.8% 目标,开源权重模型 DeepSeek V4.1 Flash 1017 达到 72.8%,单次运行约 $3,而前者约 $22。