tzt
ce0f6170d3
- 入库历史遗漏源码/测试：router_system 9 模块（agent/executors/inference/knowledge/ memory/planner/skills/trace）、tests 11 个测试文件、config/knowledge 领域知识 - 入库根目录方案文档（v2/v3/可行性×2）、references 文献（arxiv 14-18/cnki_open/ 参考文献清单）、research 论文素材（routerarena/paper/中文文献 PDF） - 前端构建产物刷新（新 hash）；webapp 误写文档删除 - gitignore 增补：deepseek-harness、research/_refs、.mimosa/.zcode、网关日志/pid、 临时调试脚本、tests/e2e/node_modules、AI代理功能开发/prefix - 基线确认：318 passed
77 lines
3.2 KiB
Markdown
77 lines
3.2 KiB
Markdown
# 论文目录（research/paper/）
|
||
|
||
本目录是项目"基于规则的多专家路由系统"科研成果的论文化整理。
|
||
|
||
## 📄 主文件
|
||
|
||
| 文件 | 内容 | 字数 |
|
||
|------|------|------|
|
||
| [`main.md`](./main.md) | **完整论文正文**（Markdown，便于 pandoc 转 PDF / 投稿系统转换） | ~37KB / ~9 千字 |
|
||
|
||
## 🎯 论文定位
|
||
|
||
- **题目**：Open Evaluation of a Rule-Based Multi-Expert Router on the RouterArena Benchmark: Methods, Empirical Findings, and Open Challenges
|
||
- **类型**：经验型系统论文（empirical systems paper），不是新算法论文
|
||
- **目标 venue**：NeurIPS / ICML Datasets & Benchmarks track、ACL/EMNLP Industry track、KDD 评测 track、arXiv 预印本
|
||
- **核心卖点**：把"自建 24 样例 100%"的脆弱基线换成 RouterArena 协议化评测 + **诚实报 gap**
|
||
|
||
## 🧱 论文结构（10 节 + 2 附录）
|
||
|
||
1. **Abstract** — 一段式，含 4 个具体数字（74.4 %, 68.9 %, $0.51/1K, 126/126 tests）
|
||
2. **Introduction** — 动机 + 3 条贡献
|
||
3. **Related Work** — 27 篇 + 13 篇 references/ 论文分类
|
||
4. **System Design** — L0 五段式内核（KB / Classifier / Planner / Executor / Judge）
|
||
5. **RouterArena Adapter** — 接口 / 选型 / 域映射 / 合规 / 单测
|
||
6. **Empirical Evaluation** — 90 条 mock 协议对齐 + 3 张表 + 3 条发现
|
||
7. **Discussion** — 3 课 + L1/L2 路线图
|
||
8. **Limitations** — 6 条已知 gap（不掩盖）
|
||
9. **Conclusion and Future Work** — 5 优先级
|
||
10. **References** — 36 篇 + Acknowledgements
|
||
|
||
+ Appendix A：复现命令
|
||
+ Appendix B：8→9 域映射表
|
||
+ Appendix C：3 个核心发现压缩版
|
||
|
||
## 🔗 论文引用到的本项目文件
|
||
|
||
- `research/routerarena/adapter.py` — ESExpertRouter 实现
|
||
- `research/routerarena/base_router.py` — vendored BaseRouter
|
||
- `research/routerarena/local_runner.py` — 端到端 runner
|
||
- `research/routerarena/00_integration_plan.md` — 接入方案
|
||
- `research/routerarena/01_results_and_gap_analysis.md` — 详细数据
|
||
- `tests/test_routerarena_adapter.py` — 8 个单测
|
||
- `research/2026_papers_survey.md` — 调研综述（Reference [27]）
|
||
|
||
## 🛠️ 转 PDF / 投稿
|
||
|
||
论文用 Markdown 写，便于：
|
||
|
||
```bash
|
||
# 转 PDF（需要 pandoc + LaTeX）
|
||
pandoc main.md -o main.pdf --from markdown+yaml_metadata_block \
|
||
--template=ieee --variable geometry:margin=1in
|
||
|
||
# 转 LaTeX 投稿
|
||
pandoc main.md -o main.tex --from markdown+citations \
|
||
--biblatex --citeproc
|
||
|
||
# 转 docx 评审
|
||
pandoc main.md -o main.docx
|
||
```
|
||
|
||
## ⚠️ 投稿前要补的事
|
||
|
||
- [ ] 真实 RouterArena sub_10 / full 数据接入（解决网络限制后）
|
||
- [ ] 真实 LLM 推理（API key + \$1-5 预算）
|
||
- [ ] Conformal Cascade 阈值校准（论文 §6.1 Lesson 3 提到）
|
||
- [ ] 补 L1 实验作为对比基线（提升论文说服力）
|
||
- [ ] 通讯作者邮箱 + 完整作者列表
|
||
- [ ] 准备 GitHub Pages / OpenReview 链接
|
||
- [ ] 致谢 + 资金声明（如适用）
|
||
|
||
## 📌 不要做的事
|
||
|
||
- **不要在没有真实数据的情况下提交到 leaderboard**（合规约束 + 论文失实风险）
|
||
- **不要在 RouterArena 标签上训练/微调任何模型**（评估专数据规则，README 明文禁止）
|
||
- **不要省略 Limitations 一节**（8 条 limitation 是论文可信度核心）
|