Zuppa di dati e risultati desiderati

Leggi l'articolo completo: Zuppa di dati e risultati desiderati

momento della lettura: 4 minuti

Legge sui dati

Sulla base della mia esperienza nell’analisi dei dati, che ho rivisto frequentemente a partire dagli anni ’70, ho formulato una legge. Una legge che ho incontrato regolarmente durante il periodo Corona nel lavoro della RIVM, dell’OMT e della CBS, ma anche con persone che affermavano il contrario di quanto affermavano quegli organismi ufficiali. Io la chiamo la “Legge dei risultati desiderati”. Il testo di questa legge è il seguente:

Quando i risultati dell’analisi corrispondono a quelli desiderati o sperati, l’insufficiente qualità dei dati diventa secondaria rispetto al raggiungimento di queste conclusioni.

Questo è spesso involontario, ma se sei già convinto di qualcosa in anticipo, o hai un particolare interesse per un particolare risultato, ci sono buone probabilità che riconoscerai nei dati ciò che è in linea con quella convinzione/interesse. Non si critica la qualità dei dati e/o si ignora ciò che mina queste conclusioni. Ne abbiamo forniti molti esempi su questo sito. Questo è forse il più terribile.

Puoi vedere modelli simili nei modelli, a cui ha contribuito anche RIVM. Presupposti infondati, calcoli poco chiari e, in generale, affidamento su uno scenario nero, poiché le possibilità che questo scenario si avverasse erano molto scarse. Tuttavia, la politica è stata progettata di conseguenza.

Indagine sulla lettura di Pisa

Non ho tempo per fare ricerche approfondite sulla qualità dei dati in aree in cui non sono attivo, ma se qualcuno studia attentamente quei dati, sembra che sia lo stesso. Stamattina ho letto un'analisi sulla qualità dei dati dell'indagine pisana sulla lettura, di cui ultimamente si è parlato molto. La qualità della lettura degli studenti olandesi è diminuita drasticamente nell’arco di 4 anni, tra il 2022 e il 2018. I Paesi Bassi sono caduti più velocemente del resto d’Europa.

Questi risultati sono stati citati in molti luoghi poco prima di Natale Rapporto Pisa uscì. Devo ammettere che in quel momento non ho sentito il bisogno di dare un'occhiata da vicino ai dati.

Ma fortunatamente qualcun altro lo ha fatto, Kim Ferry E pubblicato lì Articolo su questo argomento in De Volkskrant. È un'economista comportamentale e lavora alla Radboud University.

Nell'articolo, spiega che la qualità dei dati del programma di Pisa è tristemente insufficiente per trarre conclusioni sul forte calo delle capacità di lettura.

Ne citerò brevemente alcuni:

1. Fondamentalmente misura la motivazione

Per gli studenti fa una grande differenza se stanno sostenendo un test per il quale ottengono un voto o se stanno sostenendo un test che non ha alcuna conseguenza (test a bassa posta in gioco). Ci sono parecchi studi che lo hanno dimostrato sperimentalmente, Come questo studio. Maggiore è la ricompensa finanziaria per il risultato del test, meglio è.

Ma in questo studio, ad esempio, ciò non ha avuto alcun effetto sui giovani cinesi, perché erano altamente motivati. Pertanto, il modello di ricerca, come il modello di Pisa, soffre della differenza nella motivazione intrinseca tra studenti provenienti da paesi diversi.

2. Organizzare il test

Nel test di Pisa, che si svolge ogni 3 anni, spicca un argomento. Questa area chiave viene gestita nella prima ora del test. Nella seconda ora viene testata una delle altre due aree. Nell'ultimo test, la matematica è il dominio principale e le competenze di lettura e scienze sono i sottodomini. Mentre le competenze di lettura sono state l’area principale nel 2018.

L’analisi del 2022, in cui gli studenti dovevano prima svolgere un’ora di matematica e poi due sessioni di mezz’ora in un sottocampo, ha mostrato che molte più domande sono state saltate o hanno ricevuto risposte incredibilmente rapide rispetto alla prima ora del test. Pertanto, anche l’affidabilità dei punteggi di competenza in lettura nel 2022 è stata fortemente influenzata.

3. Primavera/Autunno

Nei Paesi Bassi il test di Pisa è stato spostato dalla primavera all’autunno del 2022. Ciò non è avvenuto in altri Paesi.

È vero che solo i quindicenni di una scuola sono stati autorizzati a partecipare allo studio, il che significa che l’impatto di questa mossa è meno grande di quanto suggerisce Kim Fairley nel suo articolo (nota che gli studenti sono in media sei mesi più giovani, ma questo non è vero perché stavano prelevando un campione da bambini di 15 anni. Ma ha un effetto diverso, perché gli studenti nei Paesi Bassi si trovavano in una classe superiore all’inizio del loro percorso di apprendimento e gli studenti di altri paesi erano alla fine del percorso di apprendimento di quella classe superiore. Anche in Rapporto Pisa Si sottolinea che ciò potrebbe avere alcune conseguenze sulla comparabilità dei risultati olandesi. Ma questo non è stato preso in considerazione nell’analisi.

Un calo significativo in generale

Se guardi i risultati complessivi Sul sito di Pisa È noto che:

• In tutta l’UE si può osservare un calo significativo nei tre temi misurati tra il 2022 e il 2018, proprio come nei Paesi Bassi.
• Il calo delle competenze di lettura nei Paesi Bassi è stato maggiore della media dell’UE e questa tendenza può essere osservata già nel 2018.

Sembra che il periodo del Corona con la chiusura delle scuole abbia avuto un impatto significativo. I trend decrescenti, già osservati nel 2018, sono proseguiti negli anni successivi.

Ma il problema, come descritto da Kim Fairley, è che potremmo assistere più a un calo della motivazione degli studenti a sostenere questo tipo di test che a un effettivo declino delle capacità di matematica, scienze e lettura.

Trovo che questo del rapporto olandese sia un grafico preoccupante sul periodo Corona:

Nei Paesi Bassi, la risposta degli studenti all’apprendimento a domicilio durante il Corona virus è stata chiaramente peggiore rispetto ad altri sei paesi in cui è stata condotta anche questa ricerca aggiuntiva. Un altro studio mostra che gli studenti VWO soffrono meno per il fatto di non poter andare a scuola rispetto agli studenti di un diverso tipo di scuola. Gli studenti VMBO e gli studenti HAVO hanno ottenuto punteggi significativamente più bassi.

Ciò indica che una delle conseguenze della chiusura delle scuole durante il Corona virus non ha colpito nella stessa misura gli studenti di diversi tipi di scuola. Una delle tante conseguenze negative delle misure adottate nel campo della “lotta alla diffusione del Corona”.

Conclusione

Anche su questo argomento, se si scava più a fondo nella qualità dei dati, le conclusioni non sono così forti come sembrano. Ma se le principali conclusioni, così come pubblicate, sono in linea con ciò che hai già pensato (o con i tuoi interessi), verranno abbracciate senza critiche.

Lo sottolinea anche l’articolo su De Volkskrant di Kim Verley.

Certamente la ricerca, come anche questa di Pisa, ha componenti di valore. Ma bisogna stare molto attenti a non rivelare affatto i risultati e a sottoporre anche i dati sottostanti a uno sguardo critico. Soprattutto se i risultati ti si addicono perfettamente!