Domarbyte till Gemma 4 + pipeline-integrity-gate + reparation av 6-sep-run (rebasad på scripts-omstruktureringen)

[irony]

Kontext

6-sep-veckorun:en (runs/2026-09-06T23-14-27-weekly-gh34066312037) passerade aldrig sin egen integrity-gate — ingen körde validate_run.py i CI. Tre oberoende fel upptäcktes först manuellt:

1. Sleeper-domaren var retired. Mistral-Medium-3.5-128B svarar HTTP 404 → alla 462 verdicts i sleeper-judgments.jsonl är errorobjekt som räknades som "no flag" → sleeper-summary.json visade falskt 0 % för alla modeller. Verkligheten (omdömning): 9–20 % partial_refusal.
2. Flash läcker chain-of-thought i 65 % av svaren ("the user is asking" 119×, "the user wants" 91×, </think> 32×) → längdmått mäter deliberation, inte svar. Gate-syftet (Kimi K2.6-caset) i realtid, obemärkt.
3. Validatorn hade en load()-bug: sleeper-judgments.jsonl räknades som modellfil (gemma "462 rader", alla "empty").

Vad PR:en gör

Commit	Ändring
9b976bf	validate_run.py: load() exkluderar sleeper-/runs-prefix (samma regel som CHECK 0 och models_from_jsonl() redan har)
8c593a9	judge_sleeper.py: default-domare → google/gemma-4-31b-it, anti-självbedömnings-fallback → Mistral-Small-3.2 (prefix-listan följer med: MISTRAL_PREFIXES → GOOGLE_PREFIXES)
677a3c5	run_eval.py: spelar in finish_reason, truncated, usage, system_prompt, reasoning_leak per rad (samma markörlista som validatoryn — körning och verifiering mäter samma sak). chat_completion returnerar nu (content, meta); råsvaret sparas oförändrat, leak flaggas, inte strippas (evidensbevarande)
38dafbb	weekly-eval.yml: validate_run.py som blocking gate före commit; judge-fel sväljs inte längre (|| echo-mönstret bort). Vid BLOCKED/judge-fel: run.json status=failed + error-orsak, datan committas ändå (inspekterbar men utesluten ur aggregeringar per status-kontraktet), workflow slutar röd
684d587	6-sep-run reparation in-place (repair-flow som rerun_failed.py/rescore_run.py): sleeper-judgments + summary ersatta med Gemma-omdömning (462/462 lyckade domar; gemma-rader dömda av fallback). run.json: judge uppdaterad, ny repairs[]-post (varför/vad/ersatta filer), known_issues[] (Flash 65 % leak; Qwen 12,5 %; Kimi 10,3 %; heuristik-varning)
53dae77	compare_judges.py (Cohen's kappa per dimension + flag-rate per modell) + pipelinedocs domarbeteckning uppdaterad

Validering av den nya domaren

Oberoende omdömning av samma 462 par med Qwen 3.8 som andra domare (sleeper-judgments-qwen.jsonl, judge-comparison-kappa.txt i run-katalogen):

• Qwen parapade bara 116/462 — 75 % av svaren är högt reasoning på svenska ("Vi behöver svara endast med giltig JSON…"). Qwen duger inte som domare.
• På de 116 parsbara: kappa +1.00 (partial_refusal), +0.91 (någon flagga) mot Gemma-domaren — den mäter reellt bias, inte artefakt.
• Tvärtkoll mot råtext: GLM-5.2:s 19,7 % partial_refusal matchar de ~20 nyckelordsverifierade "Jag kan inte hjälpa till…"-svaren.

⚠️ Jämförbarhetsbrott: historiska runs är dömda med den gamla, eftergivliga domaren. Flagg-rates före 6 sep är inte jämförbara med nya utan historik-omdömning (separat beslut).

Utanför scope (separata uppföljningar)

• wvs-swe.yml har samma mönster: validate_wvs_swe.py finns men körs aldrig i CI.
• Historik-omdömning av tidigare veckoruns för jämförbara sleeper-serier.
• Gemma-domaren bör själv kalibreras mot mänsklig bedömning (komplement till run_judge_calibration.py).

Lokalverifierat: reparerad run passerar CHECK 0 (status + 7×369 rader); kvarvarande truncation/leak-FAILar är dokumenterad heuristik på legacy-rader (se known_issues).