tzt/projectAIpopular
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat(proxy): T-P6 缓存分支接线（routes 主时序，M2 完整闭环）

Browse Source 
- _run_chat 开头缓存分支：cacheable（stop+单轮）-> canonical_hash ->
  L1/L2 查 -> 命中：try_hold->立即 settle(cost=0, charged=售价口径,
  status=cached, gateway_cached=1) -> SSE 合成回放或 JSON（X-Cache: HIT）
- 未命中流程收尾写缓存（_json_response 尾部，stop 且单轮）；
  缓存层任何故障降级直连上游（不影响可用性）
- 缓存命中计费 _cached_charge（成本 0，入按字符估收售价——全毛利杠杆 L0）
- _get_semcache 按 db_path 分实例（测试隔离）+ reset_semcache_instances
- 测试 +1（端到端：首问 miss 打上游/二问 HIT 上游仅 1 次/账目 cached），
  全量 423 passed
This commit is contained in:
tzt
2026-09-05 15:56:17 +08:00
parent e41471c39c
commit c54ad23c88
3 changed files with 145 additions and 6 deletions
Download Patch File Download Diff File Expand all files Collapse all files
任务拆解与执行计划.md
+1 -1
View File
@@ -141,7 +141,7 @@ P0 完成后的能力：干净的后端抽象 + 可量化的评测 + 可追溯
| T-P3 | 计价+结算：峰谷窗口/毫元整数/黄金用例 ≥10 组 | ✅ 完成 | T-P3 |
| T-P4 | 路由端到端：/proxy/v1 非流式+流式+402/429/413 语义 | ✅ 完成 | T-P4 |
| T-P5 | 规范化+桶：稳定哈希/整形顺序/doc_version 失效/多轮不缓存 | ✅ 完成 | T-P5 |
| T-P6 | 语义缓存：L1 精确+L2 n-gram 倒排+singleflight+TTL+失败不缓存 | ✅ 完成 | T-P6 |
| T-P6 | 语义缓存：L1 精确+L2 n-gram 倒排+singleflight+TTL+失败不缓存 | ✅ 完成（含 routes 接线） | T-P6 |
| T-P7 | 管理面+前端：stats/ledger 端点+ProxyView 三卡片 | ⬜ 待办 | |
| T-P8 | 压测+预算：200 并发流式；P99≤50ms/内存≤1GB/账目零不一致 | ⬜ 待办 | |