跳到正文
11月8日周日
  1. The Decoder65

    Co-Design Bench 真实测试显示 AI 编码智能体近四分之三任务仍需人工收尾

    阿里巴巴与多所亚洲大学构建 Co-Design Bench 编码智能体基准,表现最好的模型 GPT-6 Astra 在真实网页应用改动任务中仅 26.4% 的任务完全正确。它平均满足约 70% 要求,但多数任务仍留下至少一个细节,需要人工收尾。Claude Opus 5 和 Qwen3.8-Max 紧随其后,Grok 4.6 最后;该基准针对现有测试饱和,运行环境也会明显改变模型表现。

  2. The Decoder43

    Thinking Machines 的 Inkling 2 Small 在基准测试中爆出 316 次脏话

    Thinking Machines 的Inkling 2 Small在2,655次基准运行中,思维链出现316次脏话。脏话集中在50次运行,241次来自两次失控响应;ProgramBench受影响最重,200次中有20次出现。脏话不是失败预警:48次有脏话的已评分运行中46次失败,约75%已评分运行本身失败,96%失败运行无脏话。

11月7日周六