经过 18 个月的 LLM 集成实践，发现一些模式在生产环境中经常失败，尤其是对 JSON 模式的过度信任。许多人认为 JSON 模式意味着始终返回有效的 JSON，但实际上它只是尝试生成 JSON，仍然需要进行有效性验证。未能进行适当的验证可能导致系统出现意外错误，影响整体性能和用户体验。通过分析这些真实的失败案例，可以更好地理解在生产环境中实施 LLM 时需要注意的关键问题和最佳实践。...