tzt/projectAIpopular
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
75 Commits 3 Branches 0 Tags
aa9db718e6c3073fea2e9656f010672b67283ee4
Commit Graph
5 Commits
Author SHA1 Message Date
tzt b2b7a64cb3 feat(proxy): T-X12 采纳 enterprise-ai-gateway 双桶限流——TPM token 桶 + 语义缓存命中率透出 
- auth.RateLimiter.allow_tokens：TPM 令牌桶（容量=tpm_cap，连续回流 tpm/60 每秒，
  与 RPM 桶共用 per-key 锁、判定相互独立；tpm_cap<=0 不限）
- ProxyConfig.limits.tpm_per_key（默认 60000，0=不限）；chat_completions 在并发槽
  之后做 TPM 预扣判定（est=字符/3 与计费同口径），拒绝时释放并发槽并回 429
  （文案区分并发/RPM/TPM 三种原因）
- semcache.stats 增 misses 与 hit_rate；/admin/stats 新增 semcache 段透出
  （entries/hits_exact/hits_semantic/misses/hit_rate，与账本 h_g 互补）
- 新增 tests/test_tpm_limiter.py 6 项（容量/回流/禁用/双桶独立/key 隔离/命中率）
 2026-09-19 10:09:56 +08:00
tzt e5470a3715 feat(proxy): T-X10 采纳 cortiq 语义缓存路由签名分桶——不同路由意图不互串答案 
- normalizer.canonical_hash 增加可选 route_sig 段：键 = bucket|doc_version|sig|sha256
  （旧三段格式向后兼容，旧条目随 TTL 自然淘汰）
- ProxyConfig 新增 semcache.route_sig_scope：capabilities（默认，vision/tools 需求
  签名）/ model（按模型隔离）/ none（旧行为）；非法值回落 capabilities
- semcache：签名升级为条目属性并分区 L2 语义扫描（仅键分桶不够——语义层仍会
  跨签名命中）；签名从缓存键第四段解析，重启重建零 schema 变更；
  晋升别名键携带签名段；route_sig=None 的旧调用零过滤完全兼容
- routes：lookup/put 共用同一 norm_hash（消除 put 侧重复哈希），签名贯穿两层
- 新增 tests/test_route_sig.py 6 项（键格式/键空间分割/scope 三态/两层隔离/
  重建存活/旧调用兼容）
 2026-09-19 09:59:15 +08:00
tzt ebb3cbb41d feat(proxy): 语义缓存 L2 查找 3.39x + Mimosa 扫描 15 高危清零 
算法（gateway/proxy/semcache.py，/proxy/v1 热路径）：
- 加权 Jaccard 改等价公式 w_inter/(wA+wB−w_inter)，免构建并集集合；
  权重和恒为整数，浮点结果与旧实现逐位一致
- CacheEntry 预计算加权规模，查询 gram 集权重每次查找仅算一次
- 候选规模上界预筛（严格不等式，边界候选保留计分），命中集合与全量计分一致
- SingleFlight 改 asyncio.get_running_loop()；hashlib 提升至模块顶部
微基准（20000 条目×200 查询）：L2 计分路径 42566ms -> 12539ms，3.39x

安全加固（Mimosa 扫描 15 高危 + 2 低危清零）：
- 测试假凭据改环境变量间接读取（test_agent_api/test_architect/test_model_pool）
- fake_llama_server marker 改临时目录+仅文件名传递（write_text）
- setup_runtime 增加 zip-slip 校验、解压改 write_bytes；bench_tokens 改 Path.open
- runtime 健康检查仅允许回环地址并改用 http.client（防 SSRF）
- e2e/run-api-check.js BASE_URL 回环白名单校验
- research/routerarena/local_runner.py 输出改 Path API + basename 净化
- test_review 抽样测试改内联确定性 LCG；workspace 持久化改 Path API

测试：新增 2 项（公式逐位一致性 property、规模悬殊预筛回归）
pytest 425 passed（基线 423 全绿 + 2）
基线检查点：ec19a07（操作前已提交，423 passed）
 2026-09-18 08:35:36 +08:00
tzt e41471c39c feat(proxy): T-P6 语义缓存（L1/L2 倒排+singleflight+SSE 回放，M2 核心） 
- semcache.py：SemanticCache——L1 精确（LRU max_entries=30万）+ L2 字符 2/3-gram
  倒排索引（启动自 sqlite q_norm 重建）+ 加权 Jaccard（3-gram 权 2）+
  共享 gram>=3 候选门限 + 阈值 0.92 + TTL 滑动过期 + L2 命中 5 次晋升 L1
  （别名键写回表）；SingleFlight（dict[hash->Future] 上限 256/60s 超时降级）；
  synth_sse_chunks 命中回放（分块 delta+finish+[DONE] 合法 SSE）
- ledger：semcache_rows/put_semcache/promote_semcache/purge_expired
- 测试 +10：gram/精确/语义上下阈值/TTL 假时钟/LRU/重建/晋升/singleflight/SSE 合法性，
  全量 422 passed
- 待接线：routes 缓存分支（T-P7 顺带接入，M2 完整闭环在压测前完成）
 2026-09-05 15:39:48 +08:00
tzt b109576707 feat(proxy): T-P0 代理层骨架（包结构/DDL/门控挂载/单进程校验） 
- gateway/proxy/ 十文件：config（ProxyConfig：元->毫元加载期换算 D-P1、差异化售价、
  桶/峰谷/限流/semcache 配置）/ errors（8 类 HTTP 语义异常）/ ledger（四表两索引 DDL，
  WAL，ReviewQueue 连接纪律）/ auth·pricing·normalizer·semcache·upstream（§6 签名占位）
  / routes（/proxy/v1/models OpenAI 形状）/ __init__（build_proxy_router 组装点）
- settings DEFAULTS 增 proxy 段（enabled 默认 False，D-P7）
- api.py 首次 include_router（enabled 门控 + 装配失败不拖垮主应用）
- serve.py workers>1 拒绝启动（D-P9：WEB_CONCURRENCY/UVICORN_WORKERS 校验）
- 测试 +4（门控 404/DDL 幂等/毫元换算/池模型列表），全量 322 passed
 2026-09-05 08:35:31 +08:00