feat(benchmark): the built-in benchmark, redesigned into the console
The old standalone benchmark.html (Russian-only, Tailwind+Chart.js from CDNs,
never shipped in the crate) becomes a proper sidebar view. Same scoring ideas,
reimplemented: keyword checks with |-synonyms, think-tag stripping, tail-loop
detection, pass/partial/fail — plus what the old page never had: runs go
through the LIVE pipeline (pinned per model, streamed), so every test also
measures tok/s and time-to-first-token with the gateway's real token counts.
A built-in suite of 12 language-neutral probes (math, logic, code, QA,
instruction-following, extraction, translation, JSON formatting); the ⚡ quick
mode runs the 6 short ones — about a minute on a local model. Results: score
bars per model sorted best-first, a per-test grid (click a cell for the full
answer), previous runs and custom tests kept in the browser.
22 new strings in all 7 languages.
This commit is contained in:
Vendored
+24
@@ -555,4 +555,28 @@ export default {
|
||||
"routing.tasks.builtin": "роутер недоступен — встроенный набор меток",
|
||||
"routing.tasks.addCustom": "Добавить задачу",
|
||||
"routing.tasks.addPlaceholder": "своя метка…",
|
||||
|
||||
// benchmark view
|
||||
"nav.benchmark": "Бенчмарк",
|
||||
"bm.title": "Бенчмарк",
|
||||
"bm.subtitle": "Проверки качества и скорости через живой пайплайн: ответы сверяются по ключевым словам, ловится зацикливание, замеряются tok/s и время первого токена.",
|
||||
"bm.models": "Какие модели тестировать",
|
||||
"bm.quickMode": "Быстрый тест",
|
||||
"bm.quickHint": "Короткое подмножество с краткими ответами — около минуты на локальную модель.",
|
||||
"bm.suiteInfo": "Встроенный набор: {q} быстрых / {f} полных тестов, плюс ваши собственные.",
|
||||
"bm.run": "Запустить",
|
||||
"bm.pickModel": "Выберите хотя бы одну модель.",
|
||||
"bm.testOf": "тест {i} из {n}",
|
||||
"bm.results": "Результаты",
|
||||
"bm.quick": "быстрый",
|
||||
"bm.test": "Тест",
|
||||
"bm.cellHint": "Клик по ячейке — полный ответ модели.",
|
||||
"bm.history": "Прошлые прогоны (хранятся в этом браузере)",
|
||||
"bm.custom": "Свои тесты",
|
||||
"bm.customHint": "Промпт + ключевые слова через запятую, которые должны быть в ответе (| — синонимы). Хранятся в этом браузере.",
|
||||
"bm.promptPh": "промпт…",
|
||||
"bm.checkPh": "ключевые слова через запятую",
|
||||
"bm.addTest": "Добавить тест",
|
||||
"bm.emptyAnswer": "пустой ответ",
|
||||
"bm.loopDetected": "зацикливание",
|
||||
};
|
||||
|
||||
Reference in New Issue
Block a user