feat: 多专业小模型+路由模型系统 MVP(mock 全链路 + FastAPI 网关 + 论文调研)
This commit is contained in:
@@ -0,0 +1,35 @@
|
||||
# 项目企划书(修订版)
|
||||
|
||||
基于 2025 年前沿研究的可行性分析后更新。
|
||||
|
||||
## 核心命题
|
||||
构建"多个专业化小模型 + 路由模型"系统,在限定条件下替代单一通用大模型。
|
||||
|
||||
## 技术路线
|
||||
1. **分类路由器**:轻量级模型(<1B)实时识别查询意图和难度
|
||||
2. **专业小模型池**:3–10 个领域专用模型(0.5B–7B),使用 LoRA 微调
|
||||
3. **质量控制器**:独立审核输出质量,决定是否升级
|
||||
4. **大模型回退**:仅对复杂推理和跨域任务调用大模型
|
||||
|
||||
## 关键假设和验证目标
|
||||
- [ ] 小模型在所选领域能否达到或超过大模型质量?
|
||||
- [ ] 路由准确率是否 ≥95%?(目标值,需 Benchmark 验证)
|
||||
- [ ] 整体成本是否降低 ≥80%?
|
||||
- [ ] P99 延迟是否在可接受范围(< 大模型推理的 1.5×)?
|
||||
|
||||
## 理论边界
|
||||
- 复杂推理任务(数学证明、逻辑链、规划)仍需大模型
|
||||
- 专家模型宽度存在下限(建议 ≥1B 参数以保证表征容量)
|
||||
- 能力密度每 3.5 月翻倍,需持续跟踪替换旧模型
|
||||
|
||||
## 风险与缓解
|
||||
| 风险 | 缓解 |
|
||||
|------|------|
|
||||
| 路由单点故障 | 预计算路由缓存 + 降级到大模型 |
|
||||
| 模型间质量不一致 | 统一微调框架 + LLM-as-Judge 自动监控 |
|
||||
| 小模型推理天花板 | 级联升级机制兜底 |
|
||||
|
||||
## 可行性综合评级
|
||||
★★★★☆ — 强烈建议实施,建议从限定领域起步
|
||||
|
||||
详见 `可行性分析报告_多专业小模型+路由模型路径.md`
|
||||
Reference in New Issue
Block a user