许多团队意识到需要评估其 LLM 输出，但在生产环境中实际执行的却不多。通常的设置是构建一个包含少量黄金示例的测试套件，在部署前通过 CI 运行，并希望这些示例能代表真实用户的输入。然而，用户在生产中编写的提示往往比测试用例更复杂、更长且更奇特。重要的边缘案例往往未被考虑。与此同时，实际的请求和响应数据每天在 AI 管道中流动，却被记录在日志中，直到出现故障才被查看。评估应在数据已经存在的地方进行...