Files
projectAIpopular/research/v2_experiments/E1_token_economics.md

1.6 KiB
Raw Permalink Blame History

E1 token 经济学(本地确定性测量)

模式:本地 estimate_tokens 测量(不调用真实 API)。真实数据需 --live + API key + 本地模型。

  • 样例数:12
  • A1 全量上下文均值:400.0 token
  • A2 交流文本均值:157.5 token
  • A3 A2+rollup 均值:197.67 token
  • A4 A3+prefix 均值:197.67 tokenprefix 可命中 155.25 token

北极星指标(token 下降 ≥80%)

  • A2 相对 A160.6%
  • A4 相对 A150.6%

说明(诚实解读)

  1. 本报告为本地确定性测量(estimate_tokens),未调用真实 API。
  2. A3(rollup)收益为规模相关:小样例下 archive 增量可能抵消收益,长会话才显现。
  3. 前缀稳定性(T10)已验证,配合 llama-server --cache-reuse 可复用稳定前缀。
  4. 北极星 ≥80% 需在 --live 模式(API key + 本地模型)下由 E1 实验确认。

明细

id domain A1 A2 A3 A4 prefix_hit
code_01 code 408 169 209 209 163
code_02 code 402 162 202 202 156
code_03 code 406 166 206 206 161
math_01 math 395 155 195 195 150
math_02 math 392 153 193 193 147
legal_01 legal 408 169 209 209 166
medical_01 medical 403 157 197 197 158
finance_01 finance 399 153 193 193 154
life_01 life 392 152 192 192 146
education_01 education 396 148 189 189 154
general_01 general 403 157 197 197 158
general_02 general 396 149 190 190 150