ModelGate:从一次大模型 API 调用,到一个 Go 网关
从最简单的模型 API 调用出发,记录 ModelGate 如何逐步加入流式代理、限流、幂等、路由、重试、熔断、可观测性与工程化验证。
Writing
共 3 篇。记录实现路径,也记录边界、失败与验证。
从最简单的模型 API 调用出发,记录 ModelGate 如何逐步加入流式代理、限流、幂等、路由、重试、熔断、可观测性与工程化验证。
从一次并发超发出发,解释 ModelGate 如何用 Redis Lua 和统一时间源实现分布式 Token Bucket,以及它与并发控制的边界。
从 ModelGate 的流式代理实现出发,解释 SSE 的响应边界、首帧前后错误处理、Flush、Context 取消与资源释放。