WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent Systems

大型语言模型代理越来越多地作为多智能体系统部署，而非作为单个模型在单一上下文中运行。最近的代理工具允许模型实例化工作者代理，并编写协调它们的可执行工作流，使系统结构的设计在运行时由模型决定。这种组织方式因此构成了一种独特的能力，但现有基准测试要么测量端到端任务完成情况，要么在预先指定的结构下评估协调能力。