Problema
Quando si cambiano i nomi delle tabelle mart in dataset.yml (es. si rinomina mart_foo.parquet in mart_bar.parquet), il vecchio parquet resta su disco.
Il layer tool (toolkit_layer, toolkit inspect config) ordina i file per path e prende il primo — se ordinalmente il vecchio file viene prima, usa colonne sbagliate.
Esempio concreto
dataset.yml dichiara: mart.tables = [mart_bar]
Su disco ci sono: mart_foo.parquet (vecchio) + mart_bar.parquet (nuovo)
toolkit pick: mart_foo.parquet (alfabeticamente prima) → colonne sbagliate
Soluzione proposta
Il run mart dovrebbe pulire i .parquet non più dichiarati in dataset.yml prima di scrivere i nuovi. Alternativamente, il layer tool dovrebbe ignorare i file non dichiarati.
Priorità
🔴 Insidioso: non fallisce, dà risultati sbagliati silenziosamente
Problema
Quando si cambiano i nomi delle tabelle mart in
dataset.yml(es. si rinominamart_foo.parquetinmart_bar.parquet), il vecchio parquet resta su disco.Il layer tool (
toolkit_layer,toolkit inspect config) ordina i file per path e prende il primo — se ordinalmente il vecchio file viene prima, usa colonne sbagliate.Esempio concreto
Soluzione proposta
Il run mart dovrebbe pulire i
.parquetnon più dichiarati indataset.ymlprima di scrivere i nuovi. Alternativamente, il layer tool dovrebbe ignorare i file non dichiarati.Priorità
🔴 Insidioso: non fallisce, dà risultati sbagliati silenziosamente