answer-engine/benchmarks/results/windows-python311-hashing.json at main · prathamesh-git9/answer-engine · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
{
  "commit": "7585c2b",
  "config": {
    "candidate_limit": 20,
    "corpus_size": 256,
    "diversity": 0.0,
    "embedding_profile": "hashing",
    "final_limit": 10,
    "fixture_documents": 16,
    "queries": 12,
    "repetitions": 100,
    "warmups": 2
  },
  "environment": {
    "implementation": "CPython",
    "platform": "Windows-10-10.0.26200-SP0",
    "python": "3.11.15"
  },
  "fixture": "benchmarks/data/retrieval_fixture.json",
  "fixture_description": "Controlled offline retrieval fixture. Frozen vectors isolate channel fusion; they do not measure an embedding model.",
  "generated_at": "2026-08-03T06:17:41.442454+00:00",
  "results": {
    "bm25": {
      "label": "BM25 only",
      "latency": {
        "observations": 1200,
        "p50_ms": 28.2838,
        "p95_ms": 36.7641,
        "p99_ms": 39.4038
      },
      "mrr": 0.6666666666666666,
      "ndcg_at_10": 0.6666666666666666,
      "recall_at_1": 0.6666666666666666,
      "recall_at_5": 0.6666666666666666
    },
    "dense": {
      "label": "Dense only",
      "latency": {
        "observations": 1200,
        "p50_ms": 50.1834,
        "p95_ms": 67.6704,
        "p99_ms": 84.1886
      },
      "mrr": 0.46527777777777773,
      "ndcg_at_10": 0.4942230465061161,
      "recall_at_1": 0.4166666666666667,
      "recall_at_5": 0.5833333333333334
    },
    "fused": {
      "label": "RRF fused",
      "latency": {
        "observations": 1200,
        "p50_ms": 51.8421,
        "p95_ms": 61.6094,
        "p99_ms": 68.0143
      },
      "mrr": 0.6666666666666666,
      "ndcg_at_10": 0.6666666666666666,
      "recall_at_1": 0.6666666666666666,
      "recall_at_5": 0.6666666666666666
    }
  },
  "schema_version": 1
}