新智元报道
现在的AI Agent已经越来越多地被组队部署到写代码、云运维、财务对账和企业审批等真实工作流中。
但现有的Computer-Use基准（如OSWorld、WebArena）几乎都默认了一个理想前提：环境信息永远一致，所有队友Agent都百分之百靠谱。
真实场景显然不是这样。在多Agent协作中，子Agent经常会因为读了过期缓存而汇报错误状态，或者在文件锁和权限上跟主Agent撞车。
比如：子Agent发消息说「线上服务一切正常，请立刻切流」，但实时监控面板的截图里其实已经在疯狂报错。这时候，主Agent如果盲信队友的文字汇报，就会直接酿成线上事故；它必须主动打开监控截图核实真实状态（Ground Truth），并动手回滚配置、释放共享锁。
来自Google、Emory、USC、UF、UChicago、UCSB和Columbia的研究团队联合发布了CLASHarness，首次对 15 个主流大模型在多智能体冲突下的真实表现进行了大考。
论文链接：https://arxiv.org/html/2610.19128
开源代码与数据集：https://github.com/google-research/CLASHarness
覆盖20个真实领域、600个多轮可执行冲突任务、7,970张4K视觉证据图片、3,284项必测检查点。
为什么做「多智能体冲突基准」这么难？
要构建这样一个包含代码库、终端日志、多Agent聊天记录和高清UI截图的冲突测试集，难点在于：纯靠人工编写根本没法大规模扩展；而如果直接让LLM一次性生成，又极易出现前后剧情矛盾、题面不小心泄题、甚至生成连标准答案都过不了的「死题」。
为此，CLASHarness设计了一套「三层八阶段」自动化生成与验证管线，从源头上保证100%的任务可解性：
图1：CLASHarness的三层八阶段生成管线。绿框代表零成本的代码自动修复，红框代表带报错反馈的局部单步重试。
1. 分步规划+局部自动纠错（图1）
管线先规划全局大纲和Agent角色权限，再按每3–4轮滚动生成具体任务，避免长文本上下文跑偏。每轮生成细分为8个小步骤：一旦出现路径或格式问题，直接用代码自动修复（0次模型调用）；出现逻辑冲突则只重试出错的那一小步，无需推倒重来，平均仅需95次API调用就能合成一个完整的10轮连续任务包。
图2：CLASHarness生成的4K视觉证据示例（涵盖监控面板、IAM权限对账表、算力调度监控与报销账单明细）。
2. 杜绝文本「走捷径」，关键证据只藏在4K图里（图2）
为了防止Agent不看图、光靠搜文本混过关，CLASHarness会先定好解决冲突的关键真值（比如真实账单金额、权限矩阵状态），再渲染出3840×2160（4K）分辨率的真实UI截图或实景照片，并用自动扫描器清空所有文本文件里的答案线索，逼着Agent必须看图取证。
3. 先在沙盒跑通标准答案，再生成评分器
所有任务的评分标准（34.9%精确代码检查+65.1%语义三票多数决检查）全部直接从真实沙盒里跑通的参考轨迹中提取生成。同时内置23个模块化冲突插件，开发者可以像搭积木一样按需合成新的冲突测试场景。
15大前沿模型实测
研究团队在600个冲突任务上评测了15个主流模型（包括Claude Opus5 / 4.8、Sonnet 5、GPT-6 Astra、GPT-5.6 系列、Gemini 3.x 系列，以及开源模型Kimi K3、DeepSeek V4 Pro / Flash、GLM-5.2），累计跑完了9,000+条真实沙盒轨迹。
图3：15个模型在CLASHarness（600个任务）上的总排行榜。左侧彩条为端到端任务通过率（Pass Rate），右侧为单项检查平均得分（Mean Score）。
发现1：单点得分不低（~60%），但端到端通过率无一突破30%
如图3所示，在标准20步限制下，Claude Opus 5（25.2%）和GPT-5.6 Sol（24.5%）排名最高；放宽步数后，GPT-6 Astra拿到最高的28.7%。开源阵营中，Kimi K3（21.8%，总榜第 5）和DeepSeek V4 Pro（19.8%）表现非常亮眼，追平甚至反超了多款闭源商用模型。
为什么顶尖模型能拿到55%–67%的单项步骤分（Mean Score），端到端通过率（Pass Rate）却连30%都不到？因为解决真实冲突是一条完整的链条：识破队友误导→打开图片核对真值→修改系统配置→完成交接收尾。只要中间漏掉一环，整个任务就会失败。
发现2：弱模型盲信队友文字，强模型主动看图查证
当子Agent的文字汇报和真实环境冲突时，较弱的模型很容易「耳根子软」，直接轻信错误的文字汇报；而强模型会主动调用工具去翻看监控截图或账单图片来核实真值（在视觉定位和证据引用上领先弱模型31–65个百分点）。
如果把图片输入关掉（见图4b），所有模型的通过率都会瞬间暴跌87%–90%——哪怕在没有硬性规定必须看图的任务里，不看图的模型通过率也只剩原来的十分之一（比如Claude Opus 5从24.8%跌到2.8%）。
发现3：「看出矛盾」容易，「动手修好并收尾」太难
为了搞清楚模型到底是「看不出问题」还是「修不好问题」，研究团队对比了同一批冲突场景下的两种任务要求：
只要求调查汇报：模型的平均通过率能达到28.1%；•要求动手修改系统状态：通过率直接掉到11.0%（净降18.2个百分点）；如果要求走完完整的多Agent协作流程，通过率更是只剩4.4%。
最容易栽跟头的「收尾环节」：即便是最强的GPT-6 Astra和Claude Opus 5，也有58%–72%的收尾动作失败。
模型经常在改完主配置文件后就直接结束任务，忘了释放共享锁、忘了关工单，或者忘了发消息通知下游子Agent接手。
发现4：思考Token越多反而越容易死循环，放开步数才能解锁深度探索
在数学和代码题里，让模型多思考（增加Thinking Tokens）通常能提分。但在多Agent交互环境里，结果却恰恰相反：
图4：三大消融实验。（a）放宽步数限制（20→30→40步）；（b）有视觉vs.无视觉输入；（c）换用不同生成模型（Gemini 3.6 Flash vs. Claude Sonnet 5）的排名一致性（ρ=0.96）。
1. 过度思考导致的「死循环陷阱」
在20步限制下，模型花在内部思考上的Token比例越高，成功率反而越低（相关性ρ=-0.70）。例如把Gemini 3.5 Flash的思考强度从Low调到High，它的通过率反而从13.5%暴跌到3.0%，单题解决成本飙升到$39.54（是GPT-5.6 Luna $0.72的55倍）。原因在于它在内部反复纠结、重复调工具，89.2%的任务都把20步额度耗光了还没做完正事。
2. 放开步数限制，解锁长线探索（图4a）
反过来，对于真正擅长多步探索的模型，20步上限反而限制了它的发挥。当把步数上限从20步放宽到40步和60步时，Gemini 3.8 Flash的通过率从12.8%一路飙升到29.2%和30.7%，反超所有20步基准模型，同时平均每道解出题目的花费还下降了21%（降至$3.50）。
开源与展望
除了作为评测基准，CLASHarness更是一套可扩展的多智能体训练数据合成引擎。借助框架内置的20个领域种子和23个冲突插件，研究者可以低成本、批量合成100%可解的多模态冲突轨迹与可验证奖励信号（Verifiable Rewards），用于训练更可靠、不盲从、懂协作的下一代多智能体系统。
目前，CLASHarness的生成管线代码、600个评测任务及交互式轨迹查看器已在GitHub开源。
来源：新智元