Promptfoo 是一个流行的开源 LLM 评估框架，最近加入了 OpenAI。这一变化引发了生态系统中的利益冲突，因为评估 AI 系统的工具越来越多地被开发这些系统的公司所拥有。为了解决这一问题，开发了 Rubric，这是一个独立的、MIT 许可的 LLM 和 AI 代理评估框架，旨在保持开源和无企业背景。通过构建 Rubric，发现大多数 LLM 测试框架只关注输出评估，而忽视了评估过程的重...