@swarmmachina/benchkit v0.3.1

benchkit

Benchmark / load generation

Набор инструментов для воспроизводимых Node.js-бенчмарков без runtime-зависимостей: HTTP/1.1 и WebSocket load generators, latency histograms, CPU, ELU, память и regression guards.

Используйте для измерений сервиса и контроля регрессий. Генератор работает в worker threads; целевой сервис запускайте отдельно, чтобы его показатели не смешивались с процессом генератора.

Benchmarkbenchkit workersHTTP / WebSocketTarget service
22 / 24
Node.js
0
runtime deps
HTTP + WS
нагрузка
MPL-2.0
лицензия

Установка и быстрый старт

Shellinstall
npm install --save-dev @swarmmachina/benchkit
JavaScriptquick-start.js
import { runHttp1Load } from '@swarmmachina/benchkit/load/http1'

const result = await runHttp1Load({
  name: 'health',
  url: 'http://127.0.0.1:3000/health',
  connections: 100,
  pipelining: 10,
  workers: 4,
  warmupMs: 2_000,
  durationMs: 10_000
})

console.log({
  rps: result.requests.averagePerSecond,
  p95Ms: result.latencyMs.p95Ms,
  p99Ms: result.latencyMs.p99Ms,
  errors: result.errors.total,
  dropped: result.transport.rateDropped
})
  • Сначала запустите целевой сервис; URL в примере ожидает GET /health на порту 3000.
  • Без rate генератор работает в closed-loop saturation. rate задаёт общую частоту запросов; при исчерпании ёмкости растёт rateDropped, а не неограниченная очередь.
  • Warmup сохраняет workers и соединения; перед measurement счётчики и гистограммы сбрасываются.
  • Сохраняйте параметры стенда, ошибки, dropped requests и нагрузку генератора вместе с throughput и p95/p99.

Возможности пакета

HTTP/1.1
HTTP/HTTPS, keep-alive, pipelining, fixed-rate scheduling и coordinated-omission correction.
WebSocket
Встроенный клиент Node.js, ограниченные in-flight сообщения и backpressure по send buffer.
Измерения и регрессии
Ограниченные latency histograms, CPU, ELU, process memory, сравнение пар и абсолютные/относительные guards.
Оркестрация
Local и SSH targets с явными deadline и lifecycle; CLI benchkit-agent для remote orchestration.

Runtime и платформы

СредаСтатусПримечание
Node.js ^22.13.0 / 24.xПоддерживаетсяNative ESM и worker threads; Node.js 26 не входит в engines.
HTTP / HTTPSHTTP/1.1Close-delimited responses и HTTP upgrades отклоняются.
WebSocket targetEcho / request-responseКаждый ответ завершает старейшее in-flight сообщение; unsolicited messages считаются protocol errors.
SSH orchestrationОпциональноНужны ssh, tar, key-based authentication и прямой доступ к load port.

Карта API

Load generators

Отдельные subpath exports для нагрузочных сценариев.

runHttp1Load()runWebSocketLoad()@swarmmachina/benchkit/load/http1@swarmmachina/benchkit/load/websocket

Measurements / reporting

Измерения, статистика и артефакты результатов.

./measurement./statistics./profiling./reporting./results

Regression / orchestration

Guards и lifecycle локальных и удалённых targets.

./regression./baseline./control./target./target-provider./orchestration

Полные сигнатуры, типы и примеры находятся в README и TypeScript declarations исходного репозитория.

Измерения, давление и границы стенда

Результат зависит от сервиса, генератора и среды выполнения. Сохраняйте все три части контекста.

Отделяйте target от генератора

CPU и RSS генератора включают постороннюю работу в вызывающем процессе. Используйте отдельный процесс или хост для target.

Учитывайте потери fixed-rate

При нехватке connections × pipelining или connections × maxInFlight новые arrivals отбрасываются и учитываются в rateDropped.

Проверяйте response contract

HTTP generator поддерживает Content-Length, chunked, interim 1xx, HEAD, 204 и 304. WebSocket endpoint должен работать как echo/request-response.

Проверяйте сам генератор

Смотрите loadGenerator CPU, worker ELU и память вместе с errors и scheduling lag. Высокий RPS без этих данных не доказывает запас сервиса.

Нагрузка на WebSocket echo

Для echo endpoint используйте отдельный WebSocket generator. maxInFlight ограничивает число ожидающих ответа сообщений на одно соединение.

JavaScriptwebsocket-load.js
import { runWebSocketLoad } from '@swarmmachina/benchkit/load/websocket'

const result = await runWebSocketLoad({
  url: 'ws://127.0.0.1:3000/echo',
  message: '{"type":"ping"}',
  connections: 100,
  maxInFlight: 4,
  workers: 4,
  warmupMs: 2_000,
  durationMs: 10_000
})

console.log(result.messages.averagePerSecond, result.latencyMs.p99Ms)
Нужен HTTP/WebSocket-сервис для измерений?Открыть swm-core