feat(sense): T-X3 路由决策缓存——live 模式 embed+线性头去重(采纳 cortiq 决策哈希缓存)
- gateway/sense/decision_cache.py:DecisionCache(sha256(scope+文本) 键、 LRU + TTL 60s、4096 条上限、时钟可注入),对齐 auth._AuthCache 进程内模式 - Grader:仅 live 模式缓存纯决策负载(probs/head_version/vec); 命中跳过 embed + 线性头预测;tier 仍按当前 conformal 阈值即时重算; 观察落盘(observer.log)不因缓存命中跳过——校准数据完整性不受影响 - collect/shadow 模式不走缓存(校准必须全量);invalidate() 同步清空缓存 (阈值/工件切换即时生效,TTL 仅兜底陈旧) pytest 455 passed(T-X2 后 447 + 8)
This commit is contained in:
@@ -167,3 +167,4 @@ P0 完成后的能力:干净的后端抽象 + 可量化的评测 + 可追溯
|
||||
| OPT-1 | 分支推进:语义缓存 L2 查找 3.39x(免并集计分+预筛)+ 安全加固(15 高危清零:SSRF/路径穿越/假凭据) | ✅ 完成 | ad3bf41 |
|
||||
| T-X1 | 预算四档渐进干预(外部采纳 ai-model-router):budget_mode 整数基点判定(80/95/100%)+ optimize/cheap 自动降档 + X-Budget-Mode 上报;黄金用例锁边界 | ✅ 完成 | T-X1 |
|
||||
| T-X2 | 上游有序降级链(外部采纳 cortiq tier 链):池内候选按档位/单价排序、首 token 前 failover、X-Upstream-Fallback 三元组响应头 + admin/stats failover 聚合 | ✅ 完成 | T-X2 |
|
||||
| T-X3 | 路由决策缓存(外部采纳 cortiq 决策哈希缓存):DecisionCache(sha256+LRU+TTL60s,4096 条)前置 grader live 模式,embed+线性头去重;观察/审计不跳过、invalidate 同步清空、collect/shadow 不缓存 | ✅ 完成 | T-X3 |
|
||||
|
||||
Reference in New Issue
Block a user