tzt/projectAIpopular
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
74 Commits 3 Branches 0 Tags
b2b7a64cb3a8f10f70eed946dcf2fe14c7141e62
Commit Graph
14 Commits
Author SHA1 Message Date
tzt b2b7a64cb3 feat(proxy): T-X12 采纳 enterprise-ai-gateway 双桶限流——TPM token 桶 + 语义缓存命中率透出 
- auth.RateLimiter.allow_tokens：TPM 令牌桶（容量=tpm_cap，连续回流 tpm/60 每秒，
  与 RPM 桶共用 per-key 锁、判定相互独立；tpm_cap<=0 不限）
- ProxyConfig.limits.tpm_per_key（默认 60000，0=不限）；chat_completions 在并发槽
  之后做 TPM 预扣判定（est=字符/3 与计费同口径），拒绝时释放并发槽并回 429
  （文案区分并发/RPM/TPM 三种原因）
- semcache.stats 增 misses 与 hit_rate；/admin/stats 新增 semcache 段透出
  （entries/hits_exact/hits_semantic/misses/hit_rate，与账本 h_g 互补）
- 新增 tests/test_tpm_limiter.py 6 项（容量/回流/禁用/双桶独立/key 隔离/命中率）
 2026-09-19 10:09:56 +08:00
tzt f04a6c4c43 feat(proxy): T-X11 采纳 cortiq shadow 旁路评审——live T1 本地应答异步云端评审喂晋升表 
- routes：live 分流 T1 响应后按 sample_rate 采样旁路——premium 条目以评审提示词
  给本地答案打 PASS/FAIL，经 PromotionTable.observe 写入 T-X5 晋升表
  （打通晋升质量信号的自动来源，夜间 labeler 之外的实时通路）
- 零客户端延迟：asyncio.create_task 旁路 + wait_for 超时 + Semaphore(2) 并发上限；
  上游故障/解析失败记 ERROR，不算 FAIL（评审器不可用不惩罚本地模型）；
  仅非流式响应采样（流式无同步答案文本），默认关闭（sense.shadow_review.enabled）
- 模块级计数字典 sampled/pass/fail/error + reset_shadow_review_stats() 测试钩子
- 新增 tests/test_shadow_review.py 5 项（默认关/条目选取/PASS-FAIL-ERROR 解析/
  晋升表喂入/关闭态零副作用），全假上游不依赖真实模型
 2026-09-19 10:03:38 +08:00
tzt e5470a3715 feat(proxy): T-X10 采纳 cortiq 语义缓存路由签名分桶——不同路由意图不互串答案 
- normalizer.canonical_hash 增加可选 route_sig 段：键 = bucket|doc_version|sig|sha256
  （旧三段格式向后兼容，旧条目随 TTL 自然淘汰）
- ProxyConfig 新增 semcache.route_sig_scope：capabilities（默认，vision/tools 需求
  签名）/ model（按模型隔离）/ none（旧行为）；非法值回落 capabilities
- semcache：签名升级为条目属性并分区 L2 语义扫描（仅键分桶不够——语义层仍会
  跨签名命中）；签名从缓存键第四段解析，重启重建零 schema 变更；
  晋升别名键携带签名段；route_sig=None 的旧调用零过滤完全兼容
- routes：lookup/put 共用同一 norm_hash（消除 put 侧重复哈希），签名贯穿两层
- 新增 tests/test_route_sig.py 6 项（键格式/键空间分割/scope 三态/两层隔离/
  重建存活/旧调用兼容）
 2026-09-19 09:59:15 +08:00
tzt e00e2cd2b1 feat(proxy): 架构与算法优化二轮——sense 运行时单例激活 T-X3、打码密钥泄漏修复、账本热路径 2.4x 
- gateway/proxy/routes.py：sense 运行时（SenseStore+Grader+晋升表）按配置单例化，
  原每请求重建导致：每请求跑全量 DDL、重读工件文件，且 T-X3 60s 决策缓存随
  Grader 丢弃、命中率恒为 0（本轮最大收益，激活既有已测组件）；
  T1 审计抽样修复原 NameError×3 被 except 吞掉（load_config/get_review/request_id
  均未定义、§9.4 从未入队）——request_id 上提、review 队列经 review_getter 注入
  （api.py 反向依赖解除）、sample_rate 走 load_config
- gateway/model_pool.py：新增 usable_entries() 未打码内通道；routes 的降级链/
  预算降档/能力位重定向/档位映射四处改走该通道——修复打码 api_key 流入上游
  Bearer 头导致带密钥条目重定向必 401 的隐性缺陷（HTTP 管理面仍用打码 list()）
- gateway/proxy/ledger.py + billing.py：共享持久连接（原每操作新建，全链路
  每请求 3-5 次 connect）+ 日重置 UPDATE 每实例每日一次短路（原每请求全表扫描
  抢写锁）；check_and_count A/B 0.75→0.31 ms/op（2.4x）；新增 usage_stats()
  SQL 聚合，/admin/stats 从 list_usage(limit=50 万) Python 四遍扫描改为下推聚合
  （微基准 ~28x，随流水线性扩大）
- gateway/sense/grader.py：决策留痕 insert_decision 移入 asyncio.to_thread
  （原同步 sqlite 写直接跑在事件循环线程，高并发阻塞网关；与观察写批量队列同等保护）
- 全量 474 项两轮复核全绿（基线 474）
 2026-09-18 23:59:44 +08:00
tzt 1aaa05cacc feat(sense): T-X5 云端评判晋升表×conformal 双闸门——本地档自动接管（采纳 cortiq promotion） 
- gateway/sense/promotion.py：PromotionTable 状态机（candidate/promoted/demoted）
  * 晋升门：n_total>=n_min 且 通过率>=promote_lb 且 soak 浸泡期满足
  * 退化：promoted 期间通过率<demote_lb 自动降级；降级后可凭数据恢复
  * 一票否决：tier=T3 观察不进通过率统计，已晋升者立即降级
  * 持久化 sense_promotion 表（CREATE IF NOT EXISTS 幂等）
- grader：live 模式对已晋升标签的 T2 决策（无 T3 信号/非 fallback）升级 T1，
  hard_gates.promotion_applied 如实标注；T1/T3/fallback 路径不受影响
- 回填链路：T1 审计抽样带 promo:<label> 标签 -> 人工 verdict approve=ok
  经 /review/{id} 提交时回填晋升表（失败不影响审核主流程）
- 双闸门语义：conformal 阈值保证单条决策风险率，晋升表保证标签级接管节奏；
  collect 数据不足（n_min 未满）不晋升，全部迁移可经 T-X4 留痕审计

pytest 474 passed（T-X4 后 466 + 8）
 2026-09-18 23:01:52 +08:00
tzt 7e01dc9b16 feat(sense): T-X4 可解释决策留痕三元结构 + 修复 sense live 分流潜伏 bug（采纳 ai-model-router 决策模型） 
- store：新增 sense_decisions 表（CREATE IF NOT EXISTS 幂等迁移），
  insert_decision / list_decisions（JSON 字段反序列化），q_hash 不落原文（D-G6）
- grader：全模式落库决策三元——reasons（§8 判定顺序最小完备集）、
  candidate_scores（线性头 probs）、rejected（落选档位+原因）；
  留痕失败静默不影响决策主链路
- 修复：chat_completions 的 sense 分流引用未导入的 settings_store，NameError
  被 except 吞掉导致 D-G7 live 分流从未生效；改为 build_proxy_router 显式注入
  settings_provider（api.py 传 settings_store），缺省 None 行为安全
- 新增 /proxy/admin/sense-decisions 管理面查询端点（sense 未启用返回空集）
- 回归测试：注入 settings_provider 后 x-campus-tier 头出现且 T1 决策经
  管理面可查（修复前该头永远缺失）

pytest 466 passed（T-X6 后 461 + 5）
 2026-09-18 22:55:49 +08:00
tzt 5078721df4 feat(proxy): T-X6 模型池能力位过滤——vision/tools/context 硬过滤（采纳 cortiq capabilities） 
- model_pool：条目新增 capabilities{vision,tools,context_window}，
  归一化缺省全兼容（老条目行为零变化；非法形态回落缺省）；
  filter_by_capabilities 硬过滤（context_window=0 视为不限）
- proxy routes：_request_needs 从请求体推断需求（多模态 image_url → vision、
  tools 非空 → tools、上下文需求 = 字符/3 + min(max_tokens,4096) 与预扣同口径）；
  条目不满足时在池内重定向到首个合格条目
- 与 T-X1/T-X2 组合语义：能力重定向 → 预算降档 → 降级链，逐级独立不互扰

pytest 461 passed（T-X3 后 455 + 6）
 2026-09-18 22:45:50 +08:00
tzt a043493548 feat(proxy): T-X2 上游有序降级链 + failover 三元组如实上报（采纳 cortiq tier 链） 
- routes._fallback_chain：主条目之外的启用真实后端按（档位升序，单价和升序）
  构成有序候选链（≤3），排除 mock/停用/同模型，仅作 D-P4 首 token 前 failover
- _stream_response/_json_response 接入链式候选（原 [entry,entry] 同条目重试升级为真降级链）
- upstream.stream：failover 发生即记 sink[upstream_fallback] 与模块级统计；
  JSON 路径经 X-Upstream-Fallback/Original/Used/Reason 四头如实上报
  （流式路径头已发出不可追溯，由统计聚合暴露）
- /proxy/admin/stats 新增 upstream_failover 块（total + recent 20 条）

pytest 447 passed（T-X1 后 443 + 4）
 2026-09-18 22:35:53 +08:00
tzt aa7cb0704c feat(proxy): T-X1 预算四档渐进干预（采纳 ai-model-router budgets 设计） 
- billing.BillingMixin 新增 budget_mode(student, est, ts)：整数基点判定
  normal(<80%) / optimize(>=80%) / cheap(>=95%) / block(>100%)；
  cap<=0 不限额恒 normal；学生缺失 normal（扣费与拒绝权威仍在 try_hold）
- routes._run_chat：optimize/cheap 档自动降档池条目（_downgrade_entry，
  TIERS 排名制降档、杜绝反向升档、跳过停用与 mock），重算 model/est；
  非正常档位经 X-Budget-Mode 响应头如实上报（缓存命中路径同样携带）
- 黄金用例锁死边界：7999/8000/9499/9500/10000/10001bp 九组参数化断言，
  全整数运算无浮点漂移；跨日重置与不限额口径与 try_hold 一致

pytest 443 passed（基线 425 + 18）
 2026-09-18 22:28:50 +08:00
tzt 4f272dc66d feat(proxy): T-P7 管理面后端（stats/ledger/students 端点 + admin_queries.sql） 
- /proxy/admin/stats：h_g(=cached/requests)/h_p(=Σin_hit/Σ(in_hit+in_miss))/
  revenue/cost/margin/by_bucket（?since 走 idx_ledger_ts）
- /proxy/admin/ledger：流水分页（复用 billing.list_usage 参数化查询）
- /proxy/admin/students：学生列表（暂 501——ledger 新增 SELECT 方法被
  Mimosa 安全扫描误报阻塞，误报解除后补 stats_rows/list_students 两方法即可）
- 端点鉴权复用 X-Admin-Key/loopback；ledger 查询经其锁与连接（D-P10）
- 全量 423 passed
 2026-09-05 16:12:26 +08:00
tzt c54ad23c88 feat(proxy): T-P6 缓存分支接线（routes 主时序，M2 完整闭环） 
- _run_chat 开头缓存分支：cacheable（stop+单轮）-> canonical_hash ->
  L1/L2 查 -> 命中：try_hold->立即 settle(cost=0, charged=售价口径,
  status=cached, gateway_cached=1) -> SSE 合成回放或 JSON（X-Cache: HIT）
- 未命中流程收尾写缓存（_json_response 尾部，stop 且单轮）；
  缓存层任何故障降级直连上游（不影响可用性）
- 缓存命中计费 _cached_charge（成本 0，入按字符估收售价——全毛利杠杆 L0）
- _get_semcache 按 db_path 分实例（测试隔离）+ reset_semcache_instances
- 测试 +1（端到端：首问 miss 打上游/二问 HIT 上游仅 1 次/账目 cached），
  全量 423 passed
 2026-09-05 15:56:17 +08:00
tzt a636b989e5 feat(sense): T-G7 审计+前端（live 分流接线 + tier 指标卡 + Settings 灰度区块） 
- proxy/routes：sense.mode=live 时转发前调 Grader 分流，档位 -> 池条目
  （tier_pool_hint 映射），响应头 X-Campus-Tier 透出（可解释性）；
  T1 决策按 review.sample_rate 抽样入 ReviewQueue（sense_t1 标签，
  人工核"判 T1 实为更高档"）；分级故障不影响代理可用性（D-G4）
- /api/metrics：sense 段（enabled/mode/观察数/已标签/档位分布/shadow 一致率）
- 前端：MetricsView「语义分级」卡片（观察/标签进度/一致率/晋升门提示）；
  SettingsView「Sense 灰度控制」区块（总开关 + collect/shadow/live 切换 +
  标签进度），npm run build 产物更新
- 全量 410 passed
 2026-09-05 15:06:27 +08:00
tzt 5b04276fc8 feat(proxy): T-P4 路由端到端（M1：计费代理跑通） 
- routes.py 主时序：auth(热缓存) -> 限流/并发槽 -> 413 -> 池条目解析 ->
  try_hold 预扣（字符/3 + min(max_tokens,4096) 宁可高估）-> 上游流式 tee
  -> usage 归一 -> compute -> settle(actual 回补) -> 流水；异常路径：
  UpstreamError 全额 void / UpstreamAborted 按已收 usage 结算 status=aborted
- install_error_handlers：ProxyError 家族 -> §5.3 错误码
  （401/402/403/413/429/502，401 带 WWW-Authenticate）
- 管理面：students/topup/keys 签发/keys-revoke（X-Admin-Key 或 loopback）
- SSE 同构：chunk 补齐 object/created/id/model（OpenAI SDK 兼容形状），
  usage chunk 按客户端要求过滤
- 修复：补回 T-P4 重写时丢失的 /proxy/v1/models
- 测试 +8（非流式全程含 2550/1491 黄金账目/流式/402/401/413/502 void/
  httpx 手写 OpenAI SDK 合规断言含 chunk 形状+usage 过滤+[DONE]），全量 362 passed
 2026-09-05 09:35:12 +08:00
tzt b109576707 feat(proxy): T-P0 代理层骨架（包结构/DDL/门控挂载/单进程校验） 
- gateway/proxy/ 十文件：config（ProxyConfig：元->毫元加载期换算 D-P1、差异化售价、
  桶/峰谷/限流/semcache 配置）/ errors（8 类 HTTP 语义异常）/ ledger（四表两索引 DDL，
  WAL，ReviewQueue 连接纪律）/ auth·pricing·normalizer·semcache·upstream（§6 签名占位）
  / routes（/proxy/v1/models OpenAI 形状）/ __init__（build_proxy_router 组装点）
- settings DEFAULTS 增 proxy 段（enabled 默认 False，D-P7）
- api.py 首次 include_router（enabled 门控 + 装配失败不拖垮主应用）
- serve.py workers>1 拒绝启动（D-P9：WEB_CONCURRENCY/UVICORN_WORKERS 校验）
- 测试 +4（门控 404/DDL 幂等/毫元换算/池模型列表），全量 322 passed
 2026-09-05 08:35:31 +08:00