经过三周的时间和约340美元的投入，对三种大型语言模型（LLM）进行了基准测试，重点关注这些模型在实际生产环境中自主代理所执行的任务。这些任务并非演示任务或简单的摘要，而是一些单调、重复且偶尔奇怪的工作，这些工作支撑着一个由六个代理组成的系统。与大多数基准测试不同，本次测试关注的是模型在实际应用中的表现，尤其是在需要频繁执行特定任务的情况下。测试涵盖了内容生成、数据处理等四类任务，结果揭示了不同模...