tzt/projectAIpopular
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat(proxy): T-P2 上游客户端（流式派发/usage 注入过滤/三家归一化/首 token 前 failover）

Browse Source 
- upstream.py：httpx.AsyncClient 模块级单例（keepalive，limits=100，
  超时 connect10/read120/write10/pool30）；stream() 始终注入
  stream_options.include_usage（计量不依赖客户端）+ filter_usage_chunk
  （客户端未要求 usage 时剥除该 chunk）；D-P4 首 token 前 failover 链、
  流中失败抛 UpstreamAborted（不可切换）；ttfb_ms 记录
- normalize_usage 三家归一：deepseek prompt_cache_hit_tokens /
  openai prompt_tokens_details.cached_tokens / anthropic cache_read_input_tokens
  （命中数>总数时钳制）
- model_pool：+provider（枚举校验 deepseek/openai/anthropic）+in_hit_price
  （缺省 = price_in×1/30，D-P3）
- 测试 +6：透传+sink/failover/流中 aborted/全挂 502/三家归一/过滤，全量 345 passed
This commit is contained in:
tzt
2026-09-05 09:14:31 +08:00
parent a9f3405970
commit f24f016e95
4 changed files with 345 additions and 13 deletions
Download Patch File Download Diff File Expand all files Collapse all files
任务拆解与执行计划.md
+1 -1
View File
@@ -137,7 +137,7 @@ P0 完成后的能力：干净的后端抽象 + 可量化的评测 + 可追溯
|---|------|------|--------|
| T-P0 | 骨架：gateway/proxy/ 包 + SQLite DDL + enabled 门控挂路由 | ✅ 完成 | T-P0 |
| T-P1 | 鉴权+账本：key 签发/令牌桶/四表/request_id 幂等/日限额 | ✅ 完成 | T-P1 |
| T-P2 | 上游客户端：流式派发+三家 usage 归一化+首 token 前 failover | ⬜ 待办 | |
| T-P2 | 上游客户端：流式派发+三家 usage 归一化+首 token 前 failover | ✅ 完成 | T-P2 |
| T-P3 | 计价+结算：峰谷窗口/毫元整数/黄金用例 ≥10 组 | ⬜ 待办 | |
| T-P4 | 路由端到端：/proxy/v1 非流式+流式+402/429/413 语义 | ⬜ 待办 | |
| T-P5 | 规范化+桶：稳定哈希/整形顺序/doc_version 失效/多轮不缓存 | ⬜ 待办 | |