34 lines
2.0 KiB
Markdown
34 lines
2.0 KiB
Markdown
# 分支：campus-cache-proxy — 校园缓存感知 AI 代理层（第三代）
|
||
|
||
> **快照点**：`0bcf2f3`（代理层 T-P0–T-P8 + 语义分析器 T-G0–G8 完成时点）。
|
||
> ⚠️ **活跃开发仍在 `master` 继续**，本分支为阶段路标/展示快照。
|
||
|
||
## 这一代是什么
|
||
|
||
**命题**：面向校园场景的 AI 代理层——在端（学生/客户端）与云（LLM API）之间的缓存感知网关。
|
||
商业模式 = API 差价 + 缓存收益；校园高重复问题 → 高缓存命中 → 高毛利。
|
||
|
||
- **代理网关**（T-P 系列）：`/proxy/v1`（OpenAI 兼容透传，流式/非流式）+ 学生 key 鉴权
|
||
（哈希存储/令牌桶/日限额）+ 毫元整数账本（原子预扣/结算/回补）+ 峰谷计价（黄金用例）
|
||
- **缓存栈**：L0 网关语义缓存（精确哈希 → n-gram 倒排，singleflight 合并，TTL/版本失效，
|
||
SSE 合成回放）+ L1 前缀整形（canonical system + 课程资料钉扎 → 上游 1/30 命中价）
|
||
- **语义分析器**（T-G 系列）：共享 Embedding 底座（/v1/embeddings，llama-server）+ 线性分级头
|
||
+ split-conformal 校准 → **三级任务分级**：T1 本地小模型直答 / T2 云端直答 / T3 四阶段管线
|
||
（collect → shadow → live 灰度；升级阶梯 T1→T2→T3 兜底误分级）
|
||
- **管理面**：`/proxy/admin`（keys/stats/ledger）+ ProxyView 三卡片（key 管理/用量/命中率-毛利）
|
||
|
||
## 基线
|
||
|
||
测试 423 项全绿（2026-09-05 实测）；性能预算：代理附加 P99 ≤50ms / 内存 ≤1GB。
|
||
|
||
## 文档
|
||
|
||
`AI代理功能开发/方案_校园AI代理层.md`（设计+经济测算）、
|
||
`AI代理功能开发/实施方案_代理层与缓存层.md`（T-P0–P8）、
|
||
`AI代理功能开发/实施方案_语义分析器与三级分级.md`（T-G0–G8）
|
||
|
||
## 与其他分支的关系
|
||
|
||
- 建立在第二代全部能力之上（模型池/智能体/交流文本管线为其下游消费者）
|
||
- `master` 上的后续演进（语义分析器 shadow→live、LoRA/vLLM 可选项）不会出现在本分支
|