拒绝“蒙对”:OpenRCA 2.0 揭示大模型在故障根因分析中的真相
本文揭示大模型在根因分析(RCA)中“猜对”而非“理解”的本质问题,指出现有评估依赖结果标签导致虚假准确。研究提出PAVE协议与OpenRCA 2.0基准,通过前向验证、三重约束(结构、统计、时序)实现过程监督,并要求可执行证据。实验显示11款顶级LLM仅20.7%精准定位根因,61.5%诊断无法通过因果验证,暴露其节点识别强但因果推理弱的缺陷。三大失效模式——过早定论、观测偏差、显著性捕获——揭示AI误判根源。结论强调:可信AI运维需从“蒙对”迈向“可证伪的理解”,否则自动化操作将埋下灾难隐患。
