Redis 限流器里的 Lua：为什么 Token Bucket 不能用几条命令拼出来
从一次并发超发出发，解释 ModelGate 如何用 Redis Lua 和统一时间源实现分布式 Token Bucket，以及它与并发控制的边界。
Topic
#LLM Gateway
共 2 篇相关文章。
SSE 流式代理：为什么第一帧之后不能再返回 JSON 错误
从 ModelGate 的流式代理实现出发，解释 SSE 的响应边界、首帧前后错误处理、Flush、Context 取消与资源释放。
Topic
共 2 篇相关文章。
从一次并发超发出发，解释 ModelGate 如何用 Redis Lua 和统一时间源实现分布式 Token Bucket，以及它与并发控制的边界。
从 ModelGate 的流式代理实现出发，解释 SSE 的响应边界、首帧前后错误处理、Flush、Context 取消与资源释放。