Comparative Analysis of Agent Evaluation Frameworks: Stability, Detection, and Discovery in Enterprise Analytics Agents

我们提出了一项三阶段比较研究，分别评估三种评估框架，每种框架代表不同的评估范式（基于追踪的LLM评分、仅文本的LLM评分并结合红蓝对抗、确定性启发式），在受控研究环境中应用冻结执行轨迹。阶段1通过重复测量量化评估套件的稳定性，发现97%种配置满足稳定性阈值，且稳定性模式与代理无关。阶段2测量已知风险检测在72个真实测试用例上的表现，基于追踪的框架在精度-召回平衡上表现最佳（F1=0.90），而仅文本评估在召回率上匹配但生成5倍更多的假警报。