在使用大型语言模型（LLM）构建应用程序时，可能会面临服务中断的风险，例如 OpenAI、Google 或 Anthropic 的服务不可用。为了解决这个问题，电路断路器模式应运而生。它的作用是监控应用程序向 LLM 提交的请求，当检测到 LLM 返回错误或响应时间过长时，电路断路器会立即停止发送请求，从而防止故障蔓延，并为 LLM 提供商争取恢复时间。这一机制为 AI 驱动的应用程序提供了重要的...