feat(bench): add LEK (Lekarski Egzamin Końcowy) MCQ loader - #33
feat(bench): add LEK (Lekarski Egzamin Końcowy) MCQ loader#33bartoszkobylinski wants to merge 1 commit into
Conversation
|
@bartoszkobylinski is attempting to deploy a commit to the kwikiel's projects Team on Vercel. A member of the Team first needs to authorize it. |
46e9978 to
6c95961
Compare
Native-PL medical final-exam benchmark from amu-cai/medical-exams-LEK-PL-2008-2024 (4312 questions, native Polish, public/ungated, balanced A–E gold). load_lek mirrors load_pes (options inlined in the prompt, gold from the answer letter) and is registered as bench "lek". Adds offline unit tests (monkeypatched HF, CI-safe) plus a gated live test (RUN_HF_TESTS=1), and catalog entries in benchmarks.json/datasety.json and the datasets page.
6c95961 to
4e8b1fb
Compare
|
🤖 Automated code review (Xavier / Xfaang), requested by @zientara in Verdict: APPROVE WITH NITS — solid, well-scoped. Mirrors Gold / answer index mapping — VERIFIED CORRECT (this is the #20 footgun): Findings (all nits, non-blocking):
Registration in |
Co to dodaje
Nowy natywnie polski benchmark MCQ — LEK (Lekarski Egzamin Końcowy) — jako loader
load_lekwbench/bench_mcq.py(zadanie #4 „Dodaj loader MCQ").Źródło:
amu-cai/medical-exams-LEK-PL-2008-2024(pierwotnie CEM).load_pes(opcje wklejone w treść pytania + gold z litery) → zero nowej maszynerii w harnessie"lek"(langpl), dopisany do listy w docstringu modułuTesty
Nowy plik
tests/test_bench_mcq.py(pytest jako dev-dependency wpyproject.toml):datasets.load_datasetjest monkeypatchowane, więc działają bez sieci / w CI (mapowanie liter→indeks, normalizacja wielkości/spacji, odrzucanie złych etykiet i pustych pytań, kontrakt itemu, próbkowanie, determinizm seeda, rejestracja wBENCHES)RUN_HF_TESTS=1— potwierdza 4312 wierszy i rozkład goldKatalog
Wpis
lekwpublic/data/benchmarks.json(źródło prawdy dla/bench-explorer) orazpublic/data/datasety.jsoni wiersz na stronie/datasety.Transparentność (do oceny przez maintainerów)
license=None), źródło CEM — ta sama postawa co już zaakceptowanypes. Odnotowane w poluuwagi_review.pes, ale to inny egzamin — LEK = ogólny egzamin końcowy lekarza (licencyjny), PES = egzamin specjalizacyjny. Nie jest to trywialny wariant istniejącego benchu.Wybór i powyższe zastrzeżenia zgłoszone wcześniej na Discordzie (#4).