2.0 KiB
2.0 KiB
分支:campus-cache-proxy — 校园缓存感知 AI 代理层(第三代)
快照点:
0bcf2f3(代理层 T-P0–T-P8 + 语义分析器 T-G0–G8 完成时点)。 ⚠️ 活跃开发仍在master继续,本分支为阶段路标/展示快照。
这一代是什么
命题:面向校园场景的 AI 代理层——在端(学生/客户端)与云(LLM API)之间的缓存感知网关。 商业模式 = API 差价 + 缓存收益;校园高重复问题 → 高缓存命中 → 高毛利。
- 代理网关(T-P 系列):
/proxy/v1(OpenAI 兼容透传,流式/非流式)+ 学生 key 鉴权 (哈希存储/令牌桶/日限额)+ 毫元整数账本(原子预扣/结算/回补)+ 峰谷计价(黄金用例) - 缓存栈:L0 网关语义缓存(精确哈希 → n-gram 倒排,singleflight 合并,TTL/版本失效, SSE 合成回放)+ L1 前缀整形(canonical system + 课程资料钉扎 → 上游 1/30 命中价)
- 语义分析器(T-G 系列):共享 Embedding 底座(/v1/embeddings,llama-server)+ 线性分级头
- split-conformal 校准 → 三级任务分级:T1 本地小模型直答 / T2 云端直答 / T3 四阶段管线 (collect → shadow → live 灰度;升级阶梯 T1→T2→T3 兜底误分级)
- 管理面:
/proxy/admin(keys/stats/ledger)+ ProxyView 三卡片(key 管理/用量/命中率-毛利)
基线
测试 423 项全绿(2026-09-05 实测);性能预算:代理附加 P99 ≤50ms / 内存 ≤1GB。
文档
AI代理功能开发/方案_校园AI代理层.md(设计+经济测算)、
AI代理功能开发/实施方案_代理层与缓存层.md(T-P0–P8)、
AI代理功能开发/实施方案_语义分析器与三级分级.md(T-G0–G8)
与其他分支的关系
- 建立在第二代全部能力之上(模型池/智能体/交流文本管线为其下游消费者)
master上的后续演进(语义分析器 shadow→live、LoRA/vLLM 可选项)不会出现在本分支