新研究显示 AI 审计模型能发现多数 agent 不当行为但误报会加重人工复核负担
Andy Hall 的新研究显示,AI 审计模型能发现 agent 日志中的多数不当行为,但误报会随检出要求上升。在 5% 误报率下,GPT-5 能发现近 98% 的 reward hacking 案例,Gemini 3.8 Flash 仅发现约一半,要求 99% 检测 unsafe actions 时最佳模型 GPT-6 Astra 的误报率仍升至 15%。
Andy Hall 的新研究显示,AI 审计模型能发现 agent 日志中的多数不当行为,但误报会随检出要求上升。在 5% 误报率下,GPT-5 能发现近 98% 的 reward hacking 案例,Gemini 3.8 Flash 仅发现约一半,要求 99% 检测 unsafe actions 时最佳模型 GPT-6 Astra 的误报率仍升至 15%。
Vals AI 的 CyberOffense 基准显示,AI 智能体能在无人工协助下自主攻击模拟企业网络,开放与封闭模型的网络攻击能力差距正在缩小。GPT-6 Sol Daybreak 完成 80.8% 目标,开源权重模型 DeepSeek V4.1 Flash 1017 达到 72.8%,单次运行约 $3,而前者约 $22。