tzt
ce0f6170d3
- 入库历史遗漏源码/测试：router_system 9 模块（agent/executors/inference/knowledge/ memory/planner/skills/trace）、tests 11 个测试文件、config/knowledge 领域知识 - 入库根目录方案文档（v2/v3/可行性×2）、references 文献（arxiv 14-18/cnki_open/ 参考文献清单）、research 论文素材（routerarena/paper/中文文献 PDF） - 前端构建产物刷新（新 hash）；webapp 误写文档删除 - gitignore 增补：deepseek-harness、research/_refs、.mimosa/.zcode、网关日志/pid、 临时调试脚本、tests/e2e/node_modules、AI代理功能开发/prefix - 基线确认：318 passed
论文目录（research/paper/）
本目录是项目"基于规则的多专家路由系统"科研成果的论文化整理。
📄 主文件
| 文件 | 内容 | 字数 |
|---|---|---|
main.md |
完整论文正文（Markdown，便于 pandoc 转 PDF / 投稿系统转换） | ~37KB / ~9 千字 |
🎯 论文定位
- 题目：Open Evaluation of a Rule-Based Multi-Expert Router on the RouterArena Benchmark: Methods, Empirical Findings, and Open Challenges
- 类型：经验型系统论文（empirical systems paper），不是新算法论文
- 目标 venue：NeurIPS / ICML Datasets & Benchmarks track、ACL/EMNLP Industry track、KDD 评测 track、arXiv 预印本
- 核心卖点：把"自建 24 样例 100%"的脆弱基线换成 RouterArena 协议化评测 + 诚实报 gap
🧱 论文结构（10 节 + 2 附录）
- Abstract — 一段式，含 4 个具体数字（74.4 %, 68.9 %, $0.51/1K, 126/126 tests）
- Introduction — 动机 + 3 条贡献
- Related Work — 27 篇 + 13 篇 references/ 论文分类
- System Design — L0 五段式内核（KB / Classifier / Planner / Executor / Judge）
- RouterArena Adapter — 接口 / 选型 / 域映射 / 合规 / 单测
- Empirical Evaluation — 90 条 mock 协议对齐 + 3 张表 + 3 条发现
- Discussion — 3 课 + L1/L2 路线图
- Limitations — 6 条已知 gap（不掩盖）
- Conclusion and Future Work — 5 优先级
- References — 36 篇 + Acknowledgements
- Appendix A：复现命令
- Appendix B：8→9 域映射表
- Appendix C：3 个核心发现压缩版
🔗 论文引用到的本项目文件
research/routerarena/adapter.py— ESExpertRouter 实现research/routerarena/base_router.py— vendored BaseRouterresearch/routerarena/local_runner.py— 端到端 runnerresearch/routerarena/00_integration_plan.md— 接入方案research/routerarena/01_results_and_gap_analysis.md— 详细数据tests/test_routerarena_adapter.py— 8 个单测research/2026_papers_survey.md— 调研综述（Reference [27]）
🛠️ 转 PDF / 投稿
论文用 Markdown 写，便于：
# 转 PDF（需要 pandoc + LaTeX）
pandoc main.md -o main.pdf --from markdown+yaml_metadata_block \
--template=ieee --variable geometry:margin=1in
# 转 LaTeX 投稿
pandoc main.md -o main.tex --from markdown+citations \
--biblatex --citeproc
# 转 docx 评审
pandoc main.md -o main.docx
⚠️ 投稿前要补的事
- 真实 RouterArena sub_10 / full 数据接入（解决网络限制后）
- 真实 LLM 推理（API key + $1-5 预算）
- Conformal Cascade 阈值校准（论文 §6.1 Lesson 3 提到）
- 补 L1 实验作为对比基线（提升论文说服力）
- 通讯作者邮箱 + 完整作者列表
- 准备 GitHub Pages / OpenReview 链接
- 致谢 + 资金声明（如适用）
📌 不要做的事
- 不要在没有真实数据的情况下提交到 leaderboard（合规约束 + 论文失实风险）
- 不要在 RouterArena 标签上训练/微调任何模型（评估专数据规则，README 明文禁止）
- 不要省略 Limitations 一节（8 条 limitation 是论文可信度核心）