38 lines
1.6 KiB
Markdown
38 lines
1.6 KiB
Markdown
# E1 token 经济学(本地确定性测量)
|
||
|
||
> 模式:本地 estimate_tokens 测量(不调用真实 API)。真实数据需 --live + API key + 本地模型。
|
||
|
||
- 样例数:12
|
||
- A1 全量上下文均值:**400.0 token**
|
||
- A2 交流文本均值:**157.5 token**
|
||
- A3 A2+rollup 均值:**197.67 token**
|
||
- A4 A3+prefix 均值:**197.67 token**(prefix 可命中 155.25 token)
|
||
|
||
## 北极星指标(token 下降 ≥80%)
|
||
|
||
- A2 相对 A1:**60.6%**
|
||
- A4 相对 A1:**50.6%**
|
||
|
||
### 说明(诚实解读)
|
||
|
||
1. 本报告为本地确定性测量(estimate_tokens),未调用真实 API。
|
||
2. A3(rollup)收益为规模相关:小样例下 archive 增量可能抵消收益,长会话才显现。
|
||
3. 前缀稳定性(T10)已验证,配合 llama-server --cache-reuse 可复用稳定前缀。
|
||
4. 北极星 ≥80% 需在 --live 模式(API key + 本地模型)下由 E1 实验确认。
|
||
|
||
## 明细
|
||
|
||
| id | domain | A1 | A2 | A3 | A4 | prefix_hit |
|
||
|----|--------|----|----|----|----|----|
|
||
| code_01 | code | 408 | 169 | 209 | 209 | 163 |
|
||
| code_02 | code | 402 | 162 | 202 | 202 | 156 |
|
||
| code_03 | code | 406 | 166 | 206 | 206 | 161 |
|
||
| math_01 | math | 395 | 155 | 195 | 195 | 150 |
|
||
| math_02 | math | 392 | 153 | 193 | 193 | 147 |
|
||
| legal_01 | legal | 408 | 169 | 209 | 209 | 166 |
|
||
| medical_01 | medical | 403 | 157 | 197 | 197 | 158 |
|
||
| finance_01 | finance | 399 | 153 | 193 | 193 | 154 |
|
||
| life_01 | life | 392 | 152 | 192 | 192 | 146 |
|
||
| education_01 | education | 396 | 148 | 189 | 189 | 154 |
|
||
| general_01 | general | 403 | 157 | 197 | 197 | 158 |
|
||
| general_02 | general | 396 | 149 | 190 | 190 | 150 | |