feat(proxy): T-P4 路由端到端(M1:计费代理跑通)
- routes.py 主时序:auth(热缓存) -> 限流/并发槽 -> 413 -> 池条目解析 -> try_hold 预扣(字符/3 + min(max_tokens,4096) 宁可高估)-> 上游流式 tee -> usage 归一 -> compute -> settle(actual 回补) -> 流水;异常路径: UpstreamError 全额 void / UpstreamAborted 按已收 usage 结算 status=aborted - install_error_handlers:ProxyError 家族 -> §5.3 错误码 (401/402/403/413/429/502,401 带 WWW-Authenticate) - 管理面:students/topup/keys 签发/keys-revoke(X-Admin-Key 或 loopback) - SSE 同构:chunk 补齐 object/created/id/model(OpenAI SDK 兼容形状), usage chunk 按客户端要求过滤 - 修复:补回 T-P4 重写时丢失的 /proxy/v1/models - 测试 +8(非流式全程含 2550/1491 黄金账目/流式/402/401/413/502 void/ httpx 手写 OpenAI SDK 合规断言含 chunk 形状+usage 过滤+[DONE]),全量 362 passed
This commit is contained in:
+1
-1
@@ -139,7 +139,7 @@ P0 完成后的能力:干净的后端抽象 + 可量化的评测 + 可追溯
|
||||
| T-P1 | 鉴权+账本:key 签发/令牌桶/四表/request_id 幂等/日限额 | ✅ 完成 | T-P1 |
|
||||
| T-P2 | 上游客户端:流式派发+三家 usage 归一化+首 token 前 failover | ✅ 完成 | T-P2 |
|
||||
| T-P3 | 计价+结算:峰谷窗口/毫元整数/黄金用例 ≥10 组 | ✅ 完成 | T-P3 |
|
||||
| T-P4 | 路由端到端:/proxy/v1 非流式+流式+402/429/413 语义 | ⬜ 待办 | |
|
||||
| T-P4 | 路由端到端:/proxy/v1 非流式+流式+402/429/413 语义 | ✅ 完成 | T-P4 |
|
||||
| T-P5 | 规范化+桶:稳定哈希/整形顺序/doc_version 失效/多轮不缓存 | ⬜ 待办 | |
|
||||
| T-P6 | 语义缓存:L1 精确+L2 n-gram 倒排+singleflight+TTL+失败不缓存 | ⬜ 待办 | |
|
||||
| T-P7 | 管理面+前端:stats/ledger 端点+ProxyView 三卡片 | ⬜ 待办 | |
|
||||
|
||||
Reference in New Issue
Block a user