Topic

#Go

共 3 篇相关文章。

2026年9月2日9 分钟阅读

ModelGate：从一次大模型 API 调用，到一个 Go 网关

从最简单的模型 API 调用出发，记录 ModelGate 如何逐步加入流式代理、限流、幂等、路由、重试、熔断、可观测性与工程化验证。

2026年9月2日12 分钟阅读

从一次并发超发出发，解释 ModelGate 如何用 Redis Lua 和统一时间源实现分布式 Token Bucket，以及它与并发控制的边界。

2026年9月2日10 分钟阅读

从 ModelGate 的流式代理实现出发，解释 SSE 的响应边界、首帧前后错误处理、Flush、Context 取消与资源释放。