上游已经挂了,为什么还要继续请求:从 ModelGate 讲熔断器
从 ModelGate 的 Provider 治理出发,解释 Circuit Breaker 的 CLOSED、OPEN、HALF_OPEN 三种状态、滑动窗口失败率、探测请求,以及它与 Retry、路由和流式请求之间的边界。
Topic
共 2 篇相关文章。
从 ModelGate 的 Provider 治理出发,解释 Circuit Breaker 的 CLOSED、OPEN、HALF_OPEN 三种状态、滑动窗口失败率、探测请求,以及它与 Retry、路由和流式请求之间的边界。
从 ModelGate 的上游模型调用出发,解释整体超时、单次尝试超时、可重试错误分类、指数退避与 Full Jitter,以及为什么重试本身也可能放大故障。