 tzt
|
b2b7a64cb3
|
feat(proxy): T-X12 采纳 enterprise-ai-gateway 双桶限流——TPM token 桶 + 语义缓存命中率透出
- auth.RateLimiter.allow_tokens：TPM 令牌桶（容量=tpm_cap，连续回流 tpm/60 每秒，
与 RPM 桶共用 per-key 锁、判定相互独立；tpm_cap<=0 不限）
- ProxyConfig.limits.tpm_per_key（默认 60000，0=不限）；chat_completions 在并发槽
之后做 TPM 预扣判定（est=字符/3 与计费同口径），拒绝时释放并发槽并回 429
（文案区分并发/RPM/TPM 三种原因）
- semcache.stats 增 misses 与 hit_rate；/admin/stats 新增 semcache 段透出
（entries/hits_exact/hits_semantic/misses/hit_rate，与账本 h_g 互补）
- 新增 tests/test_tpm_limiter.py 6 项（容量/回流/禁用/双桶独立/key 隔离/命中率）
|
2026-09-19 10:09:56 +08:00 |
|
|
tzt
|
e5470a3715
|
feat(proxy): T-X10 采纳 cortiq 语义缓存路由签名分桶——不同路由意图不互串答案
- normalizer.canonical_hash 增加可选 route_sig 段：键 = bucket|doc_version|sig|sha256
（旧三段格式向后兼容，旧条目随 TTL 自然淘汰）
- ProxyConfig 新增 semcache.route_sig_scope：capabilities（默认，vision/tools 需求
签名）/ model（按模型隔离）/ none（旧行为）；非法值回落 capabilities
- semcache：签名升级为条目属性并分区 L2 语义扫描（仅键分桶不够——语义层仍会
跨签名命中）；签名从缓存键第四段解析，重启重建零 schema 变更；
晋升别名键携带签名段；route_sig=None 的旧调用零过滤完全兼容
- routes：lookup/put 共用同一 norm_hash（消除 put 侧重复哈希），签名贯穿两层
- 新增 tests/test_route_sig.py 6 项（键格式/键空间分割/scope 三态/两层隔离/
重建存活/旧调用兼容）
|
2026-09-19 09:59:15 +08:00 |
|
|
tzt
|
b109576707
|
feat(proxy): T-P0 代理层骨架（包结构/DDL/门控挂载/单进程校验）
- gateway/proxy/ 十文件：config（ProxyConfig：元->毫元加载期换算 D-P1、差异化售价、
桶/峰谷/限流/semcache 配置）/ errors（8 类 HTTP 语义异常）/ ledger（四表两索引 DDL，
WAL，ReviewQueue 连接纪律）/ auth·pricing·normalizer·semcache·upstream（§6 签名占位）
/ routes（/proxy/v1/models OpenAI 形状）/ __init__（build_proxy_router 组装点）
- settings DEFAULTS 增 proxy 段（enabled 默认 False，D-P7）
- api.py 首次 include_router（enabled 门控 + 装配失败不拖垮主应用）
- serve.py workers>1 拒绝启动（D-P9：WEB_CONCURRENCY/UVICORN_WORKERS 校验）
- 测试 +4（门控 404/DDL 幂等/毫元换算/池模型列表），全量 322 passed
|
2026-09-05 08:35:31 +08:00 |
|