 tzt
|
c54ad23c88
|
feat(proxy): T-P6 缓存分支接线（routes 主时序，M2 完整闭环）
- _run_chat 开头缓存分支：cacheable（stop+单轮）-> canonical_hash ->
L1/L2 查 -> 命中：try_hold->立即 settle(cost=0, charged=售价口径,
status=cached, gateway_cached=1) -> SSE 合成回放或 JSON（X-Cache: HIT）
- 未命中流程收尾写缓存（_json_response 尾部，stop 且单轮）；
缓存层任何故障降级直连上游（不影响可用性）
- 缓存命中计费 _cached_charge（成本 0，入按字符估收售价——全毛利杠杆 L0）
- _get_semcache 按 db_path 分实例（测试隔离）+ reset_semcache_instances
- 测试 +1（端到端：首问 miss 打上游/二问 HIT 上游仅 1 次/账目 cached），
全量 423 passed
|
2026-09-05 15:56:17 +08:00 |
|
|
tzt
|
5b04276fc8
|
feat(proxy): T-P4 路由端到端（M1：计费代理跑通）
- routes.py 主时序：auth(热缓存) -> 限流/并发槽 -> 413 -> 池条目解析 ->
try_hold 预扣（字符/3 + min(max_tokens,4096) 宁可高估）-> 上游流式 tee
-> usage 归一 -> compute -> settle(actual 回补) -> 流水；异常路径：
UpstreamError 全额 void / UpstreamAborted 按已收 usage 结算 status=aborted
- install_error_handlers：ProxyError 家族 -> §5.3 错误码
（401/402/403/413/429/502，401 带 WWW-Authenticate）
- 管理面：students/topup/keys 签发/keys-revoke（X-Admin-Key 或 loopback）
- SSE 同构：chunk 补齐 object/created/id/model（OpenAI SDK 兼容形状），
usage chunk 按客户端要求过滤
- 修复：补回 T-P4 重写时丢失的 /proxy/v1/models
- 测试 +8（非流式全程含 2550/1491 黄金账目/流式/402/401/413/502 void/
httpx 手写 OpenAI SDK 合规断言含 chunk 形状+usage 过滤+[DONE]），全量 362 passed
|
2026-09-05 09:35:12 +08:00 |
|