{
  "schema_version": "incident-scope-1.0",
  "suite_version": "1.0.0",
  "published_at": "2026-10-08T23:22:01.575233-04:00",
  "campaign_hash": "11e11b46377da3d98930a64296ac6d46b420d1fca44ebca8a084f72baeb13e07",
  "suite_hash": "9e1c882b1d111f104cdcf1a38508547a43d98a914128da0b19ebb1e30080be8f",
  "protocol_hash": "97dd21d1e220772b7baba75c7afe163980dbb9e7970b7744ed7917da1ef09458",
  "execution_hash": "e64e45b2fe2793f40baff2d9dc6cfe93f1aca81cd16ae74990a76ce10c68ae16",
  "measurement_hash": "a2532d6e20414efb9e37e01536e8ff69187cbb34cf3a4bcb219093370ae5db13",
  "release_hash": "48c8550a372e37e21f65023cfbd56cfe2899124c818e861add49a3f779fcb3d9",
  "status": "preliminary_pilot",
  "cases": 8,
  "families": 8,
  "repeats": 3,
  "fixed_packets_per_repeat": 29,
  "fixed_majority_baseline_accuracy": 0.6791666666666667,
  "receipts": 464,
  "total_reported_cost_usd": 0.013817727,
  "weighting": "mean within family, then equal family weights; mean across repeats",
  "link_threshold": 0.8,
  "reject_threshold": 0.2,
  "review_margin": 0.05,
  "models": [
    {
      "model_id": "typesafe/jev-1.13",
      "label": "Jev 1.13",
      "provider": "TypeSafe",
      "resolved_model": "typesafe/jev-1.13-20260917",
      "reported_cost_usd": 0.006561702,
      "median_latency_seconds": 0.1720000000204891,
      "fixed": {
        "requests": 87,
        "accuracy": 0.32916666666666666,
        "balanced_accuracy": 0.375,
        "review_rate": 0.7458333333333333,
        "repeat_accuracy": [
          0.32916666666666666,
          0.32916666666666666,
          0.32916666666666666
        ]
      },
      "expansion": {
        "requests": 53,
        "precision": 0.2916666666666667,
        "recall": 0.18055555555555555,
        "f1": 0.20833333333333334,
        "candidate_coverage": 0.5125000000000001,
        "repeat_f1": [
          0.25,
          0.1875,
          0.1875
        ]
      }
    },
    {
      "model_id": "cloudflare/clef",
      "label": "Clef",
      "provider": "PrimeIntellect",
      "resolved_model": "cloudflare/clef",
      "reported_cost_usd": 0.004892706,
      "median_latency_seconds": 0.2339999999385327,
      "fixed": {
        "requests": 87,
        "accuracy": 0.5645833333333333,
        "balanced_accuracy": 0.53125,
        "review_rate": 0.47291666666666665,
        "repeat_accuracy": [
          0.5645833333333333,
          0.5645833333333333,
          0.5645833333333333
        ]
      },
      "expansion": {
        "requests": 78,
        "precision": 0.875,
        "recall": 0.6458333333333334,
        "f1": 0.7083333333333334,
        "candidate_coverage": 0.7770833333333333,
        "repeat_f1": [
          0.7083333333333334,
          0.7083333333333334,
          0.7083333333333334
        ]
      }
    },
    {
      "model_id": "cloudflare/clef-flash",
      "label": "Clef Flash",
      "provider": "PrimeIntellect",
      "resolved_model": "cloudflare/clef-flash",
      "reported_cost_usd": 0.002363319,
      "median_latency_seconds": 0.2029999999795109,
      "fixed": {
        "requests": 87,
        "accuracy": 0.4395833333333333,
        "balanced_accuracy": 0.4270833333333333,
        "review_rate": 0.4,
        "repeat_accuracy": [
          0.4395833333333333,
          0.4395833333333333,
          0.4395833333333333
        ]
      },
      "expansion": {
        "requests": 72,
        "precision": 0.875,
        "recall": 0.5208333333333334,
        "f1": 0.6208333333333333,
        "candidate_coverage": 0.7145833333333333,
        "repeat_f1": [
          0.6208333333333333,
          0.6208333333333333,
          0.6208333333333333
        ]
      }
    }
  ],
  "limitations": [
    "Eight controlled development scenarios, one case per family; no held-out evaluation.",
    "Three repeats reuse the same evidence and are not independent incidents.",
    "Family-macro percentages are not pooled entity counts or real-world detection rates.",
    "The shared thresholds were frozen before execution; probabilities are not validated as calibrated confidence.",
    "Expansion queries depend on earlier model decisions, so models can see different numbers of candidates.",
    "Costs are provider-reported charges for this tiny campaign; latency includes routing and network time."
  ]
}