每个基于大语言模型（LLM）的应用程序都依赖于外部服务提供商，如OpenAI、Anthropic、Google或自托管模型。然而，这些服务提供商可能会出现故障，导致请求失败、速率限制增加和延迟加大。在没有断路器的情况下，应用程序会不断向无响应的API发送请求，消耗预算、积累超时，并给用户带来糟糕的体验。断路器能够检测到下游服务的故障，并在冷却期内停止请求。这种机制并不是简单地加大重试力度，而是快速...