tzt/projectAIpopular
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat(proxy): T-P6 语义缓存（L1/L2 倒排+singleflight+SSE 回放，M2 核心）

Browse Source 
- semcache.py：SemanticCache——L1 精确（LRU max_entries=30万）+ L2 字符 2/3-gram
  倒排索引（启动自 sqlite q_norm 重建）+ 加权 Jaccard（3-gram 权 2）+
  共享 gram>=3 候选门限 + 阈值 0.92 + TTL 滑动过期 + L2 命中 5 次晋升 L1
  （别名键写回表）；SingleFlight（dict[hash->Future] 上限 256/60s 超时降级）；
  synth_sse_chunks 命中回放（分块 delta+finish+[DONE] 合法 SSE）
- ledger：semcache_rows/put_semcache/promote_semcache/purge_expired
- 测试 +10：gram/精确/语义上下阈值/TTL 假时钟/LRU/重建/晋升/singleflight/SSE 合法性，
  全量 422 passed
- 待接线：routes 缓存分支（T-P7 顺带接入，M2 完整闭环在压测前完成）
This commit is contained in:
tzt
2026-09-05 15:39:48 +08:00
parent 06545b150d
commit e41471c39c
4 changed files with 435 additions and 14 deletions
Download Patch File Download Diff File Expand all files Collapse all files
任务拆解与执行计划.md
+1 -1
View File
@@ -141,7 +141,7 @@ P0 完成后的能力：干净的后端抽象 + 可量化的评测 + 可追溯
| T-P3 | 计价+结算：峰谷窗口/毫元整数/黄金用例 ≥10 组 | ✅ 完成 | T-P3 |
| T-P4 | 路由端到端：/proxy/v1 非流式+流式+402/429/413 语义 | ✅ 完成 | T-P4 |
| T-P5 | 规范化+桶：稳定哈希/整形顺序/doc_version 失效/多轮不缓存 | ✅ 完成 | T-P5 |
| T-P6 | 语义缓存：L1 精确+L2 n-gram 倒排+singleflight+TTL+失败不缓存 | ⬜ 待办 | |
| T-P6 | 语义缓存：L1 精确+L2 n-gram 倒排+singleflight+TTL+失败不缓存 | ✅ 完成 | T-P6 |
| T-P7 | 管理面+前端：stats/ledger 端点+ProxyView 三卡片 | ⬜ 待办 | |
| T-P8 | 压测+预算：200 并发流式；P99≤50ms/内存≤1GB/账目零不一致 | ⬜ 待办 | |