Files
projectAIpopular/research/v2_experiments/E1_token_economics.md

38 lines
1.6 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# E1 token 经济学(本地确定性测量)
> 模式:本地 estimate_tokens 测量(不调用真实 API)。真实数据需 --live + API key + 本地模型。
- 样例数:12
- A1 全量上下文均值:**400.0 token**
- A2 交流文本均值:**157.5 token**
- A3 A2+rollup 均值:**197.67 token**
- A4 A3+prefix 均值:**197.67 token**prefix 可命中 155.25 token
## 北极星指标(token 下降 ≥80%)
- A2 相对 A1**60.6%**
- A4 相对 A1**50.6%**
### 说明(诚实解读)
1. 本报告为本地确定性测量(estimate_tokens),未调用真实 API。
2. A3(rollup)收益为规模相关:小样例下 archive 增量可能抵消收益,长会话才显现。
3. 前缀稳定性(T10)已验证,配合 llama-server --cache-reuse 可复用稳定前缀。
4. 北极星 ≥80% 需在 --live 模式(API key + 本地模型)下由 E1 实验确认。
## 明细
| id | domain | A1 | A2 | A3 | A4 | prefix_hit |
|----|--------|----|----|----|----|----|
| code_01 | code | 408 | 169 | 209 | 209 | 163 |
| code_02 | code | 402 | 162 | 202 | 202 | 156 |
| code_03 | code | 406 | 166 | 206 | 206 | 161 |
| math_01 | math | 395 | 155 | 195 | 195 | 150 |
| math_02 | math | 392 | 153 | 193 | 193 | 147 |
| legal_01 | legal | 408 | 169 | 209 | 209 | 166 |
| medical_01 | medical | 403 | 157 | 197 | 197 | 158 |
| finance_01 | finance | 399 | 153 | 193 | 193 | 154 |
| life_01 | life | 392 | 152 | 192 | 192 | 146 |
| education_01 | education | 396 | 148 | 189 | 189 | 154 |
| general_01 | general | 403 | 157 | 197 | 197 | 158 |
| general_02 | general | 396 | 149 | 190 | 190 | 150 |