tzt
b2b7a64cb3
feat(proxy): T-X12 采纳 enterprise-ai-gateway 双桶限流——TPM token 桶 + 语义缓存命中率透出
- auth.RateLimiter.allow_tokens:TPM 令牌桶(容量=tpm_cap,连续回流 tpm/60 每秒,
与 RPM 桶共用 per-key 锁、判定相互独立;tpm_cap<=0 不限)
- ProxyConfig.limits.tpm_per_key(默认 60000,0=不限);chat_completions 在并发槽
之后做 TPM 预扣判定(est=字符/3 与计费同口径),拒绝时释放并发槽并回 429
(文案区分并发/RPM/TPM 三种原因)
- semcache.stats 增 misses 与 hit_rate;/admin/stats 新增 semcache 段透出
(entries/hits_exact/hits_semantic/misses/hit_rate,与账本 h_g 互补)
- 新增 tests/test_tpm_limiter.py 6 项(容量/回流/禁用/双桶独立/key 隔离/命中率)
2026-09-19 10:09:56 +08:00
..
2026-09-19 10:09:56 +08:00
2026-09-18 23:59:44 +08:00
2026-09-05 16:24:56 +08:00
2026-08-12 10:40:04 +08:00
2026-09-01 23:41:45 +08:00
2026-09-18 23:59:44 +08:00
2026-09-01 08:31:47 +08:00
2026-09-18 08:35:36 +08:00
2026-09-18 23:59:44 +08:00
2026-09-05 11:07:04 +08:00