feat(v2): T12+T13 实验脚本 bench_tokens 与 E1 token 经济学跑数

2026-08-30 21:20:00 +08:00
parent 70b9907a89
commit b900082c6d
7 changed files with 348 additions and 2 deletions
@@ -0,0 +1,38 @@
+# E1 token 经济学（本地确定性测量）
+
+> 模式：本地 estimate_tokens 测量（不调用真实 API）。真实数据需 --live + API key + 本地模型。
+
+- 样例数：12
+- A1 全量上下文均值：**400.0 token**
+- A2 交流文本均值：**157.5 token**
+- A3 A2+rollup 均值：**197.67 token**
+- A4 A3+prefix 均值：**197.67 token**（prefix 可命中 155.25 token）
+
+## 北极星指标（token 下降 ≥80%）
+
+- A2 相对 A1：**60.6%**
+- A4 相对 A1：**50.6%**
+
+### 说明（诚实解读）
+
+1. 本报告为本地确定性测量（estimate_tokens），未调用真实 API。
+2. A3（rollup）收益为规模相关：小样例下 archive 增量可能抵消收益，长会话才显现。
+3. 前缀稳定性（T10）已验证，配合 llama-server --cache-reuse 可复用稳定前缀。
+4. 北极星 ≥80% 需在 --live 模式（API key + 本地模型）下由 E1 实验确认。
+
+## 明细
+
+| id | domain | A1 | A2 | A3 | A4 | prefix_hit |
+|----|--------|----|----|----|----|----|
+| code_01 | code | 408 | 169 | 209 | 209 | 163 |
+| code_02 | code | 402 | 162 | 202 | 202 | 156 |
+| code_03 | code | 406 | 166 | 206 | 206 | 161 |
+| math_01 | math | 395 | 155 | 195 | 195 | 150 |
+| math_02 | math | 392 | 153 | 193 | 193 | 147 |
+| legal_01 | legal | 408 | 169 | 209 | 209 | 166 |
+| medical_01 | medical | 403 | 157 | 197 | 197 | 158 |
+| finance_01 | finance | 399 | 153 | 193 | 193 | 154 |
+| life_01 | life | 392 | 152 | 192 | 192 | 146 |
+| education_01 | education | 396 | 148 | 189 | 189 | 154 |
+| general_01 | general | 403 | 157 | 197 | 197 | 158 |
+| general_02 | general | 396 | 149 | 190 | 190 | 150 |