Ocse-Pisa e Invalsi, i fattori socioeconomici diventati un “mito”

di Enrico Gori, il Sussidiario

Non considerare la variabilità dell’errore nei test standardizzati ha portato a una sovrastima del ruolo delle variabili socioeconomiche.

Nella prima puntata di questa analisi sull’istruzione scolastica e sulla sua valutazione, in senso ampio, abbiamo evidenziato gli effetti negativi delle politiche che incentivano il cosiddetto “18 politico” o “30 politico” nell’università. Questo fenomeno rappresenta, in sostanza, una discrepanza tra i voti ottenuti dallo studente e le sue reali competenze, configurabile, in ambito statistico, come un “errore di misura”. Tale errore, come sottolineato nel precedente articolo, ha un impatto negativo sulla formazione del capitale umano. Le conseguenze si manifestano a diversi livelli, a partire da effetti psicologici sugli studenti, fino alle difficoltà per le imprese nel considerare i voti universitari come indicatori affidabili delle capacità dei candidati al lavoro.Purtroppo, gli errori di misura nel valutare conoscenze e competenze degli studenti sono frequenti, spesso dovuti a giudizi soggettivi. Anche quando si utilizzano test standardizzati, come quelli Invalsi, bisogna tener conto che questi, seppur più oggettivi, includono comunque un margine di errore statistico. La peculiarità dei test standardizzati è che permettono di quantificare la variabilità dell’errore, definita “varianza dell’errore”. Tuttavia, la mancata considerazione di tale variabilità in molti studi sull’istruzione ha portato a una sovrastima del ruolo delle variabili socioeconomiche, con ricadute sulle politiche educative e sull’opinione pubblica che, prima o poi, sarà necessario correggere.

Questo secondo articolo intende portare l’attenzione proprio su tali effetti negativi. È importante notare, inoltre, che gli studi sull’apprendimento che non includono, tra le variabili usate come esplicative degli apprendimenti ad un certo istante di tempo (ad esempio i 15 anni negli studi OCSE-PISA), i livelli di apprendimento precedenti (come, ad esempio, i risultati nelle indagini TIMSS), di fatto li considerano implicitamente, ma con un errore di misura così elevato – potremmo dire “infinito” – da annullare ogni informazione utile. Tale omissione porta a una sistematica sovrastima dell’influenza dei fattori socioeconomici, compromettendo la qualità e l’affidabilità delle conclusioni tratte.

È opportuno anticipare – lo facciamo di seguito – quali sono le conclusioni di questo articolo, in modo che il lettore possa essere invogliato a cercare di capire le ragioni scientifiche che ci hanno portato a scrivere questa nota.

Gli studi che trascurano il livello di apprendimento iniziale nell’analisi dei risultati finali rischiano di sovrastimare l’effetto dei fattori socioeconomici, facendo apparire questi ultimi come determinanti principali. In realtà, il livello di partenza e il processo di apprendimento progressivo sono altrettanto, se non più, significativi. Secondo l’approccio di Ausubel, l’apprendimento si costruisce sulle conoscenze pregresse, e ignorare i livelli iniziali porta a una visione distorta del rapporto tra fattori socioeconomici e risultati educativi. Questo può tradursi in politiche che non valorizzano il potenziale di crescita degli studenti, in particolare di quelli provenienti da contesti svantaggiati, che con adeguato supporto potrebbero giungere a livelli di eccellenza al pari di ragazzi socialmente più fortunati.

L’idea che i risultati scolastici dipendano principalmente dalle condizioni socioeconomiche può avere effetti ambivalenti. Da un lato, può aumentare la consapevolezza sulle disuguaglianze strutturali, stimolando giustamente investimenti in scuole e supporti per famiglie in difficoltà. Dall’altro, può generare un pericoloso fatalismo, con l’errata convinzione che il destino scolastico sia immutabile. Questo rischio è particolarmente evidente se il messaggio viene percepito come deterministico: potrebbe demotivare gli insegnanti e ridurre il loro impegno verso l’innovazione (di cui si parlerà nella terzo di questi articoli), oppure indurli a concentrarsi eccessivamente sugli studenti svantaggiati, trascurando il potenziale di crescita di quelli appartenenti a contesti più agiati, con il rischio di “annoiare e demotivare” chi potrebbe procedere in maniera più spedita verso livelli di eccellenza di sicura utilità per l’intera società.

  • https://www.formazioneanicia.it/corsi/preparazione-al-concorso-per-dirigente-tecnico/

Al contrario, un messaggio equilibrato e costruttivo può valorizzare il ruolo della scuola come motore di equità e mobilità sociale. Tuttavia, se il discorso è presentato in modo polarizzante o privo di soluzioni pratiche (valutazione dell’istruzione – e non per l’istruzione – senza ricaduta immediata sul singolo studente in difficoltà), rischia di alimentare divisioni e sfiducia sia tra gli insegnanti sia nell’opinione pubblica.

Non ci soffermeremo sui numerosi esempi di ragazzi svantaggiati che, grazie al sostegno di insegnanti appassionati e capaci, hanno raggiunto posizioni sociali ed economiche di prestigio. Le scuole degli orfanotrofi, spesso gestite da suore e preti dedicati, ne offrono testimonianze abbondanti. Qui intendiamo affrontare la questione da un punto di vista rigorosamente scientifico, analizzando le responsabilità e gli errori che emergono negli studi, in particolare quelli statistici, condotti in questo ambito.

Faremo riferimento alle nostre conoscenze sui modelli statistici che includono variabili affette da errori di misura, accompagnandole con alcune intuizioni che verificheremo con l’aiuto di ChatGPT.

Come dimostreremo, il mito che i fattori socioeconomici siano il principale determinante degli apprendimenti risulterà fortemente ridimensionato. Questo porta a riconsiderare criticamente tutte le politiche educative e i pregiudizi che, negli ultimi vent’anni, hanno dato priorità alla costruzione di sistemi di valutazione dell’istruzione, trascurando invece la progettazione di sistemi di valutazione per l’istruzione.

Intervista a ChatGPT sull’impostazione delle ricerche educative

Vediamo ora come siamo giunti alle conclusioni suddette.

Per il grande pubblico, le indagini OCSE-PISA sono state tra le prime a mettere in evidenza l’importanza dei fattori socioeconomici nell’apprendimento. I primi articoli che hanno avviato questa linea di ricerca risalgono ai primi anni 2000 e hanno “dimostrato” (le virgolette sono d’obbligo) che il background socioeconomico influisce non solo sulle competenze cognitive, come matematica e lettura, ma anche sull’accesso alle risorse educative e sulle aspettative scolastiche. Questi studi hanno gettato le basi per un’ampia letteratura che continua a esplorare strategie per ridurre le disuguaglianze educative.

Per approfondire questa analisi, abbiamo deciso di avvalerci del supporto di ChatGPT, capace di fornire risposte rapide alle nostre ipotesi di ricerca. Le domande presentate sono state formulate dall’autore di questo scritto, mentre le risposte, elaborate da ChatGPT, saranno riportate con un carattere corsivo per distinguerle chiaramente.

Il modo in cui ChatGPT risponde a domande inerenti i temi in questione sono sintetizzate così dalla stessa ChatGPT:
ChatGPT risponde a temi complessi attingendo alla sua vasta base di conoscenza pre-addestrata, utilizzando modelli statistici, teorici e pedagogici incorporati nel suo training. Per tematiche come l’analisi degli effetti dei fattori socioeconomici sull’apprendimento, il modello si basa su concetti consolidati nella ricerca accademica, cercando di presentare risposte scientificamente accurate e facilmente comprensibili.

1. Tra gli studi basati sui dati delle indagini OCSE-PISA, quali includono informazioni individuali che, oltre ai fattori socioeconomici dello studente, considerano anche il livello di apprendimento in un momento immediatamente precedente?

Gli studi basati sulle indagini PISA che utilizzano dati individuali e includono il livello di apprendimento precedente, oltre ai fattori socioeconomici, sono relativamente rari. Questo perché le indagini PISA sono trasversali (cross-sectional) e raccolgono dati in un singolo momento, senza seguire gli studenti nel tempo. Tuttavia, alcuni studi hanno integrato i dati PISA con altre fonti longitudinali o hanno utilizzato metodi statistici per stimare i livelli di apprendimento precedenti.

2. Quando si considerano i livelli di apprendimento precedenti, come una delle variabili esplicative degli apprendimenti ad un dato istante di tempo successivo, l’influenza dei fattori socioeconomici resta la stessa o diminuisce di intensità?

Quando si considerano i livelli di apprendimento precedenti come variabile esplicativa degli apprendimenti successivi, l’influenza dei fattori socioeconomici tende a diminuire in intensità, ma non scompare del tutto. Questo accade perché una parte significativa dell’effetto del background socioeconomico si riflette già nei livelli iniziali di apprendimento. Sebbene, tenendo conto dei livelli di apprendimento precedenti, l’effetto dei fattori socioeconomici si attenui, esso rimane comunque rilevante. Ciò evidenzia l’importanza di politiche educative mirate e tempestive, che agiscano sin dall’inizio del percorso scolastico per ridurre le disuguaglianze e promuovere l’equità educativa.

3. Se dovessi indicare quale sia la percentuale di variabilità degli apprendimenti spiegata dai fattori socioeconomici prima e dopo l’introduzione, nei modelli statistici, dei livelli di apprendimento precedenti, cosa mi risponderesti?

La percentuale di variabilità negli apprendimenti spiegata dai fattori socioeconomici diminuisce significativamente quando si introducono nei modelli i livelli di apprendimento precedenti, ma il grado di riduzione dipende dal contesto educativo, dai dati utilizzati e dalla metodologia statistica. Ad esempio: Germania (Jürges et al., 2005): prima del controllo per TIMSS (introduzione dei livelli raggiunti nell’indagine TIMSS), i fattori socioeconomici spiegavano circa il 18% della variabilità nei risultati PISA. Dopo aver considerato i livelli precedenti (ovvero TIMSS), la percentuale è scesa al 7%. In generale, prima di inserire nel modello i livelli di apprendimento precedenti, i fattori socioeconomici spiegano il 15-20% della variabilità negli apprendimenti; mentre dopo questa percentuale si riduce al 5-10%, con variazioni in base al contesto nazionale e al grado di equità del sistema educativo.

4. Puoi dirmi se negli studi che usano livelli di apprendimento precedenti, ad un tempo molto vicino a quello dei livelli di apprendimento che si usano come variabile da spiegare, il peso dei fattori socioeconomici diminuisca ulteriormente?

Sì, negli studi che utilizzano livelli di apprendimento precedenti molto vicini temporalmente ai risultati che si analizzano come variabile dipendente, il peso dei fattori socioeconomici tende a diminuire ulteriormente. Ad esempio, usando i dati della Longitudinal Surveys of Australian Youth (LSAY), raccolti con intervalli di 1-2 anni rispetto ai test PISA, con livelli di apprendimento misurati appena un anno prima, il peso dei fattori socioeconomici è sceso al 4-6%, rispetto al 15% iniziale. In uno studio nei Paesi Bassi (Driessen & Mulder, 2013), che usa dati del sistema COOL (Cohort Onderzoek OnderwijsLoopbanen) che seguono gli studenti in intervalli di 6-12 mesi, l’effetto del background socioeconomico è sceso dal 12% al 3-4% quando i risultati precedenti sono stati misurati a distanza di pochi mesi. Per cui possiamo dire che, quando i livelli di apprendimento precedenti sono misurati a un tempo molto vicino rispetto ai risultati successivi, l’influenza diretta dei fattori socioeconomici si riduce ulteriormente, spesso al di sotto del 5%. Ciò conferma che gran parte dell’effetto del background socioeconomico si manifesta nelle fasi precedenti del percorso educativo. Da cui ne consegue che, sebbene interventi educativi precoci e continui possano ridurre significativamente l’influenza dei fattori socioeconomici, è difficile immaginare che possano eliminare completamente il loro impatto, in quanto esso si accumula nel tempo e coinvolge molteplici variabili che non possono essere compensate esclusivamente da politiche educative. Tuttavia, l’obiettivo di ridurre drasticamente le disuguaglianze educative è comunque raggiungibile con politiche mirate e interventi continui lungo tutto il percorso scolastico.

5. Ma esistono studi, di tipo statistico, in cui i fattori socioeconomici non abbiano nessuna influenza?

Sì. Ad esempio, se si usano dati scolastici longitudinali con intervalli molto brevi (es. pochi mesi), i livelli precedenti potrebbero spiegare completamente la variabilità dei risultati successivi. Come esempio pratico: uno studio che confronti i risultati di test scolastici somministrati ogni 6 mesi potrebbe trovare che il livello precedente spiega quasi tutta la variabilità nei risultati attuali, eliminando la significatività statistica del background socioeconomico. Come evidenza empirica, in uno studio sui Paesi nordici: in alcuni modelli di analisi PISA nei Paesi nordici (es. Finlandia), il background socioeconomico diventa statisticamente non significativo quando si introducono variabili proxy precise come: Prestazioni precedenti, Aspettative degli insegnanti, Frequenza e motivazione scolastica. In questi casi, l’effetto residuo dei fattori socioeconomici si riduce a zero. Studi che utilizzano test ripetuti a breve distanza temporale (es. TIMSS o indagini scolastiche locali) mostrano che, in modelli ben controllati, i fattori socioeconomici perdono rilevanza statistica se il livello precedente è fortemente correlato con la performance attuale.

6. Quindi se tutto il percorso scolastico fosse caratterizzato da questa situazione alla fine i fattori socioeconomici potrebbero risultare avere un effetto quasi pari a zero?

In teoria, se il percorso scolastico fosse caratterizzato da un sistema educativo che offre un supporto costante e personalizzato a ogni studente, l’effetto dei fattori socioeconomici potrebbe ridursi significativamente. Un sistema che adotta modelli didattici inclusivi e mirati, in cui ogni studente riceve l’insegnamento adeguato alle proprie necessità, sarebbe in grado di limitare l’influenza del background socioeconomico. In questo scenario, le performance scolastiche dipenderebbero principalmente dalle competenze acquisite in precedenza, riducendo al minimo l’effetto delle disuguaglianze socioeconomiche. Sebbene sia difficile eliminare completamente l’impatto dei fattori socioeconomici, un approccio educativo ben progettato potrebbe attenuarlo notevolmente.

7. Tenuto conto di quello che mi hai detto circa l’analisi statistica dell’effetto dei fattori socioeconomici sull’apprendimento, e di quello che ti allego circa il pensiero di un pedagogista famoso, cosa mi puoi dire come tue considerazioni finali? Ausubel, D.P. (1968). Educational psychology: a cognitive view. New York: Holt, Rinehart and Winston: “If I had to reduce all of educational psychology to just one principle, I would say this. The most important single factor affecting learning is what the learner already knows. Ascertain this and teach him accordingly”.

Il principio di Ausubel, che afferma che “ciò che lo studente già sa” è fondamentale per l’apprendimento, si lega strettamente con l’analisi statistica dell’apprendimento. Quando si considera il livello di apprendimento precedente come variabile esplicativa, i fattori socioeconomici spesso vedono ridursi il loro impatto. Questo accade perché le conoscenze pregresse assorbono gran parte della variabilità nei risultati, diminuendo l’importanza di fattori esterni come il background socioeconomico. Nel contesto educativo, ciò implica che un insegnamento personalizzato, che si adatti al livello di conoscenza attuale dello studente, può ridurre l’effetto delle disuguaglianze socioeconomiche. Sebbene i fattori socioeconomici influenzino l’accesso a risorse e opportunità, un approccio centrato sulle conoscenze pregresse degli studenti permette agli insegnanti di colmare le lacune e migliorare l’efficacia dell’insegnamento, indipendentemente dal contesto socioeconomico. In pratica, l’uso di strumenti tecnologici, come piattaforme di apprendimento adattivo, e la valutazione continua delle conoscenze pregresse sono strumenti efficaci per personalizzare l’insegnamento, riducendo l’impatto negativo delle disuguaglianze sociali. Sebbene i fattori socioeconomici non siano irrilevanti, il principio di Ausubel suggerisce che concentrarsi sul punto di partenza di ciascun studente può mitigare il loro effetto, promuovendo un apprendimento più equo.

8. Alla luce del fatto che la distanza temporale tra il livello di apprendimento iniziale e quello finale può influire sulla misura dell’effetto che i fattori socioeconomici hanno sul livello di apprendimento finale, quale critica si può portare agli studi che non considerano il livello di apprendimento iniziale, come i primi studi OCSE-PISA, specialmente nella formazione di un’opinione pubblica politicizzata, orientata a considerare i fattori socioeconomici come determinanti?

La critica principale riguarda il fatto che gli studi che non considerano il livello di apprendimento iniziale rischiano di sovrastimare l’influenza dei fattori socioeconomici sui risultati finali. Senza tenere conto di quanto uno studente già sappia all’inizio, si tende a interpretare i fattori socioeconomici come determinanti fissi dei risultati, distorcendo la visione della relazione causa-effetto nell’apprendimento.

Ignorare la base di conoscenza iniziale: Senza considerare il livello di partenza, si rischia di attribuire il risultato finale solo ai fattori socioeconomici, quando in realtà la crescita dipende da quanto lo studente ha appreso precedentemente.

Distorsione della relazione causa-effetto: L’assenza del livello iniziale può far sembrare che gli studenti provenienti da ambienti svantaggiati siano destinati a risultati inferiori, mentre, come sottolineato da Ausubel, l’apprendimento è un processo progressivo che dipende dalla costruzione delle conoscenze pregresse.

Implicazioni per l’opinione pubblica e le politiche educative: Non considerare i livelli iniziali può portare a una visione errata che giustifica le disuguaglianze educative come inevitabili, ignorando il potenziale di crescita individuale degli studenti, anche quelli con background svantaggiati.

Mancanza di una visione integrata: L’approccio statico che non include il livello iniziale non coglie la complessità dell’apprendimento, che è dinamico e basato sulle conoscenze pregresse. Questo approccio riduttivo limita la comprensione del progresso educativo.

Conclusioni: Gli studi che non considerano il livello di apprendimento iniziale distorcono la comprensione dell’effetto dei fattori socioeconomici, ignorando il ruolo cruciale del processo di apprendimento progressivo. Ciò rischia di influenzare negativamente le politiche educative, non riconoscendo il potenziale di crescita degli studenti, specialmente quelli provenienti da contesti svantaggiati.

Il ruolo degli errori di misura nel confodimento dell’effetto dei fattori socioeconomici

Purtroppo, la responsabilità degli statistici e degli studiosi in ambito educativo nell’esacerbare l’importanza dei fattori socioeconomici nel processo educativo non si limita alla semplice omissione dei livelli di apprendimento iniziale come variabile esplicativa nei modelli di previsione dell’apprendimento finale. Un altro errore cruciale è stato l’inserimento di questa variabile (l’apprendimento iniziale) senza considerare che essa è inevitabilmente influenzata da errori di misura. Vediamo ora gli effetti di questa disattenzione.

La trattazione che segue è piuttosto tecnica, ma poiché sono stati proprio studi tecnici a generare informazioni distorte, è necessario affrontare la questione dal punto di vista metodologico.

Immaginiamo che Y(t) rappresenti il livello di apprendimento di uno studente nella materia (ad esempio, matematica) al tempo t, e che X(s) indichi il livello di apprendimento della stessa materia al tempo s (con s < t). Inoltre, supponiamo che S rappresenti i fattori socioeconomici che caratterizzano lo studente, e che u(s) descriva la classe o l’insegnante con cui lo studente interagisce durante l’intervallo di tempo (s, t). I modelli statistici più comuni per studiare la relazione tra Y(t) e le variabili X(s), S, u(s) sono i modelli multilivello, utilizzati quando i dati hanno una struttura gerarchica o raggruppata (ad esempio, studenti all’interno di classi). Questi modelli consentono di separare le variazioni di Y(t) dovute a fattori individuali (X(s), S) da quelle causate da fattori contestuali (u(s)), come l’insegnante o la classe frequentata. L’analisi in ambito scolastico di questi modelli è spesso chiamata “analisi di valore aggiunto”, poiché si attribuisce a u(s) il ruolo di “effetto” della classe o dell’insegnante. Il modello prende quindi la forma:

Y(t) = β0 + β1 X(s) + β2 S + u(s) + ε

dove:

  • β0, β1​, β2​ sono i coefficienti del modello,
  • u(s) è una variabile casuale che rappresenta l’effetto specifico della classe o insegnante,
  • ε è l’errore casuale.

Se X(s) è soggetta a errore di misura, è fondamentale scegliere modelli in grado di gestire questa incertezza per evitare stime distorte. L’errore di misura introduce un fenomeno noto come attenuazione delle stime, che si manifesta come un bias verso lo zero nel coefficiente associato a X(s), riducendo così l’accuratezza complessiva del modello. In questo contesto, i modelli più adeguati sono probabilmente i Modelli di Equazioni Strutturali (SEM), che trattano esplicitamente l’errore di misura. Il loro principale vantaggio consiste nell’offrire stime non attenuate dei coefficienti, consentendo di distinguere tra la vera variabilità di X(s) e l’errore di misura. Esistono versioni di questi modelli che integrano il metodo SEM con i modelli di Rasch o IRT (Item Response Theory). Alcune applicazioni di questi approcci sono state utilizzate nella valutazione degli apprendimenti (Citazione 1). Nei casi in cui si utilizzano modelli SEM integrati con Rasch o IRT, l’effetto dei fattori socioeconomici risulta generalmente più attenuato rispetto agli studi che non considerano l’errore di misura nel livello iniziale X(s) (cioè nel livello di abilità o performance di partenza degli studenti) (citazione 2). Ciò avviene perché questi modelli prendono in considerazione la variabilità attribuibile all’errore di misura, permettendo di ottenere stime più precise sia dei livelli iniziali che delle relazioni tra le variabili.

Purtroppo, mentre l’errore di misura è un problema riconosciuto, la percentuale di studi che lo affrontano esplicitamente non è alta. È importante che i ricercatori siano consapevoli di questo problema e considerino l’adozione di modelli appropriati quando possibile. Determinare la percentuale esatta di studi sul valore aggiunto nell’apprendimento che riconoscono e affrontano l’errore di misura in X(s) rispetto a quelli che non lo fanno, è complesso, ma concentrandoci sugli studi in Italia e considerando esclusivamente i modelli multilivello della forma:

Y(t) = b0 + b1 X(s) + b2 S + u(s) + ε

ChatGPT stima che solo il 20-30% degli studi riconosca e modelli esplicitamente l’errore di misura in X(s) (Fonte ChatGPT).

Quando X(s) è affetta da errore di misura (X(s) = x(s) + err(s)), l’errore distorce i coefficienti del modello, specialmente quelli di X(s) e S. Poiché x(s) (il vero livello di apprendimento) è positivamente correlato con S (i fattori socioeconomici) e Y(t) (l’apprendimento a tempo t), non considerare l’errore di misura porta ai seguenti effetti:

1. Sottostima di β1 (coefficiente di X(s)): L’errore in X(s) riduce la varianza di X(s) osservata, indebolendo la relazione tra X(s) e Y(t) e portando a una sottostima di β1.

2. Sovrastima di β2 (coefficiente di S): L’errore in X(s) fa sembrare che S abbia un effetto più forte su Y(t) di quanto non sia in realtà, causando una sovrastima di β2.

3. Maggiore incertezza nei Coefficienti e Variabilità Residua: L’errore di misura aumenta l’incertezza delle stime e la variabilità degli errori residui.

4. Effetti sui Test di Significatività: L’errore di misura aumenta la probabilità di falsi positivi o falsi negativi nei test di significatività.

In Italia, dove il 70-80% degli studi sul valore aggiunto non considera l’errore di misura in X(s), il messaggio politico riguardo all’effetto dei fattori socioeconomici è distorto, con una sovrastima del loro impatto reale. Il messaggio che i livelli di apprendimento dipendano principalmente dalle condizioni socioeconomiche degli studenti può avere effetti significativi, positivi o negativi, sull’opinione pubblica e sugli insegnanti, a seconda di come viene interpretato.

Effetti sull’opinione pubblica:

1. Maggiore consapevolezza delle disuguaglianze sociali: Il messaggio può stimolare un’attenzione errata verso le disuguaglianze educative, promuovendo politiche di welfare e investimenti nelle aree svantaggiate.

2. Senso di fatalismo: Se percepito come determinismo, può generare l’idea che il destino scolastico dipenda esclusivamente dalle condizioni socioeconomiche, alimentando un atteggiamento passivo.

3. Giustificazione della scarsa performance scolastica: Alcuni potrebbero usare questa spiegazione per giustificare i risultati scarsi, spostando il focus dalle responsabilità del sistema educativo verso fattori esterni.

Effetti sugli insegnanti:

1. Empatia e maggiore impegno: Gli insegnanti potrebbero sentirsi più motivati a intervenire per compensare le disuguaglianze, ma rischiano di sopravvalutare il problema.

2. Demotivazione e senso di impotenza: Altri potrebbero sentirsi impotenti, pensando che il loro impatto sia limitato dal contesto socioeconomico.

3. Focus sulle strategie compensative: Il messaggio potrebbe portare a un eccessivo focus su interventi per studenti svantaggiati, trascurando che anche gli studenti provenienti da contesti più agiati necessitano di supporto per sviluppare appieno il loro potenziale.

Conseguenze complessive: Se comunicato in modo equilibrato, il messaggio può promuovere la scuola come fattore di equità, ma se polarizzante o privo di soluzioni concrete, rischia di generare divisioni e sfiducia nel sistema educativo.

Conclusioni: L’errore di misura nelle variabili, come il livello di apprendimento iniziale (X(s)), è cruciale nei modelli multilivello per il valore aggiunto nell’apprendimento. Ignorando l’errore di misura, si distorcono le stime dei coefficienti, sovrastimando l’effetto dei fattori socioeconomici e sottostimando l’importanza del livello iniziale. Questo può portare a politiche educative che enfatizzano troppo i fattori socioeconomici, trascurando l’importanza di migliorare l’insegnamento. Inoltre, la mancata considerazione dell’errore di misura potrebbe influenzare negativamente le politiche di incentivazione basate sul valore aggiunto. Per migliorare la qualità degli studi, è essenziale adottare modelli statistici avanzati che correggano l’errore di misura. Un esempio positivo in Italia è lo studio Dalla differenza l’equità(IRer 2004), che, non distorto da errori di misura, evidenzia che i fattori socioeconomici non sono determinanti e che il 40-50% della variabilità dipende dagli insegnanti e dalla classe di appartenenza.

Ed ora torniamo a ChatGPT.

9. Qual è la posizione più logica da adottare riguardo all’effetto dei fattori socioeconomici sull’apprendimento?

La posizione più logica è riconoscere che i fattori socioeconomici influenzano l’apprendimento, ma che questo effetto può essere stato esagerato dall’uso di modelli statistici non adeguati, e anche se presente esso può essere ridotto con politiche mirate, anche se forse non  eliminato completamente. Le politiche educative dovrebbero concentrarsi su interventi precoci, accesso equo alle risorse e strategie multilivello per contrastare le disuguaglianze.

Punti chiave:

1. Ridurre l’effetto socioeconomico: Le politiche mirate possono ridurre l’effetto dei fattori socioeconomici fino al 5-10%.
2. Investire nei primi anni: Interventi nell’educazione prescolare sono fondamentali per ridurre il divario iniziale.
3. Accesso equo alle risorse: Garantire risorse adeguate per tutte le scuole, in particolare quelle in aree svantaggiate.
4. Evitare la separazione precoce degli studenti: Ritardare la divisione degli studenti in base alle abilità e promuovere scuole inclusive riduce le disuguaglianze.
5. Monitoraggio e interventi tempestivi: Misurare regolarmente i progressi e fornire supporto mirato a chi è in difficoltà.
6. Approccio multilivello: Politiche integrate tra scuola, famiglia e sociale sono più efficaci.
Evidenza empirica: Le politiche educative devono basarsi su dati empirici, adattandosi al contesto nazionale.

Conclusione:

L’effetto socioeconomico sull’apprendimento è riducibile, ma non eliminabile. Politiche mirate e basate sull’evidenza, con focus sull’equità e sull’intervento precoce, sono le più efficaci.

10. Qual è la conclusione con minore evidenza scientifica tra quelle esposte sopra?

Tra le conclusioni esposte, quella con minore evidenza scientifica è probabilmente l’idea di ridurre il tracking precoce e la segregazione scolastica come soluzione universale per diminuire l’influenza dei fattori socioeconomici sull’apprendimento. Sebbene in alcuni sistemi educativi, come in Germania, il tracking precoce abbia mostrato effetti negativi, l’efficacia di questa misura è controversa in altri contesti (ad esempio, nei Paesi Bassi), dove i benefici non sono altrettanto chiari. Non esiste un consenso universale sul fatto che eliminare il tracking porti sempre a un miglioramento significativo per gli studenti svantaggiati. Secondo Ausubel, l’apprendimento si basa sulla costruzione delle conoscenze precedenti. Questo suggerisce che gli studenti, indipendentemente dal loro background socioeconomico, possano sviluppare competenze con il giusto supporto, a condizione che l’insegnamento si costruisca sulle loro conoscenze pregresse. Vygotsky, con la sua teoria della Zona di Sviluppo Prossimale (ZDP), afferma che gli studenti possono progredire se sono guidati in un’area di apprendimento che si trova appena oltre il loro attuale livello di competenza, ma che è raggiungibile con il supporto di un insegnante o di un pari. La riduzione del tracking, quindi, potrebbe non essere sempre la soluzione, in quanto ciò che davvero conta è fornire supporto personalizzato agli studenti, consentendo loro di svilupparsi all’interno della loro ZDP. In conclusione, mentre il ridurre il tracking precoce è una strategia interessante, l’evidenza che dimostri un effetto universale e concreto sulla riduzione dell’influenza socioeconomica è meno robusta rispetto ad altre politiche che enfatizzano un’istruzione personalizzata, come l’investimento nei primi anni di educazione e l’accesso equo alle risorse educative.

11. E quindi se il tracking è l’intervento che ha meno supporto scientifico, quali sono i due, tra quelli elencati, che possono avere maggiore efficacia e maggiore supporto scientifico anche dal punto di vista teorico-pedagogico oltre che empirico?

I due interventi che possono avere maggiore efficacia e supporto scientifico, sia dal punto di vista empirico che teorico-pedagogico, sono:

1. Investire nei primi anni di educazione:

Questo intervento è supportato da evidenze empiriche che dimostrano come politiche mirate, come l’accesso universale all’educazione prescolare di alta qualità, possano ridurre significativamente il divario socioeconomico nelle fasi successive dell’apprendimento. Dal punto di vista teorico-pedagogico, si allinea con la teoria di Ausubel che sottolinea l’importanza di un buon punto di partenza basato sulle conoscenze pregresse. Un’educazione precoce e di qualità aiuta a costruire una base solida su cui i bambini possano sviluppare competenze successive. Inoltre, questa strategia è coerente con la teoria di Vygotsky, che promuove l’importanza dell’interazione sociale precoce nel processo di apprendimento, favorendo lo sviluppo cognitivo attraverso il supporto sociale e la collaborazione.

2. Monitoraggio regolare e interventi tempestivi:

Misurare frequentemente i progressi degli studenti e intervenire prontamente quando emergono difficoltà consente di affrontare i divari di apprendimento in modo mirato e tempestivo. Teoricamente, questo approccio si riflette nella teoria di Ausubel, che enfatizza l’apprendimento progressivo basato sulle conoscenze precedenti. Monitorare continuamente consente di identificare dove gli studenti si trovano nel loro percorso di apprendimento e adattare l’insegnamento di conseguenza. Dal punto di vista di Vygotsky, l’intervento tempestivo agisce dentro la Zona di Sviluppo Prossimale (ZDP), offrendo supporto adeguato a far progredire lo studente senza frustrazione, consentendo di superare gli ostacoli cognitivi in tempo utile.

Questi due interventi, quindi, sono coerenti sia con le evidenze scientifiche che con le teorie pedagogiche di Ausubel e Vygotsky, poiché entrambi si concentrano sull’importanza di costruire un apprendimento solido sin dall’inizio e sull’adattamento tempestivo delle strategie didattiche alle esigenze individuali degli studenti.

12. Sai farmi esempi concreti dove si adottino in particolare questi due tipi di intervento?

Diversi Paesi adottano approcci centrati sul monitoraggio continuo e interventi tempestivi per migliorare l’apprendimento e ridurre l’influenza dei fattori socioeconomici. Negli USA, l’uso di strumenti come i test MAP (Measures of Academic Progress) della NWEA (Northwest Evaluation Association) è un esempio significativo. Questi strumenti permettono di monitorare regolarmente i progressi degli studenti, identificando rapidamente chi ha bisogno di supporto e offrendo interventi personalizzati. L’approccio rispecchia le teorie di Ausubel, che sottolinea l’importanza di costruire sull’apprendimento preesistente, e Vygotsky, che enfatizza la necessità di supportare gli studenti dentro la loro zona di sviluppo prossimale. In altri paesi, come la Finlandia, i Paesi Bassi e Singapore, si utilizzano politiche simili. In Finlandia, ad esempio, l’educazione prescolare universale e il monitoraggio continuo delle prestazioni scolastiche riducono le disuguaglianze educative, mentre in Singapore l’intervento tempestivo con tutoraggio personalizzato aiuta a rispondere rapidamente alle difficoltà. In Canada, il sistema educativo include supporto personalizzato per studenti in difficoltà, attraverso un monitoraggio regolare che segue principi pedagogici inclusivi. In sintesi, questi sistemi educativi utilizzano il monitoraggio regolare e gli interventi tempestivi come strategie efficaci per migliorare i risultati di apprendimento, ridurre le disuguaglianze e supportare l’apprendimento progressivo, allineandosi con le teorie pedagogiche di Ausubel e Vygotsky.

13. Questi, secondo te, sono esempi di sistemi di valutazione dell’istruzione o perl’istruzione?

Negli USA, l’uso di strumenti come i test MAP (Measures of Academic Progress) della NWEA (Northwest Evaluation Association) è un esempio significativo. Questi strumenti permettono di monitorare regolarmente i progressi degli studenti, identificando rapidamente chi ha bisogno di supporto e offrendo interventi personalizzati. L’approccio rispecchia le teorie di Ausubel, che sottolinea l’importanza di costruire sull’apprendimento preesistente, e Vygotsky, che enfatizza la necessità di supportare gli studenti dentro la loro zona di sviluppo prossimale. In altri paesi, come la Finlandia, i Paesi Bassi e Singapore, si utilizzano politiche simili. In Finlandia, ad esempio, l’educazione prescolare universale e il monitoraggio continuo delle prestazioni scolastiche riducono le disuguaglianze educative, mentre in Singapore l’intervento tempestivo con tutoraggio personalizzato aiuta a rispondere rapidamente alle difficoltà. In Canada, il sistema educativo include supporto personalizzato per studenti in difficoltà, attraverso un monitoraggio regolare che segue principi pedagogici inclusivi. Al contrario, in Italia, il sistema Invalsi adotta un modello di valutazione della istruzione, con una misurazione annuale dei risultati. Questi dati sono utili per valutare l’efficacia complessiva del sistema educativo, ma non permettono di offrire interventi tempestivi e personalizzati sugli studenti, come invece avviene negli USA con i test MAP.

In sintesi, mentre paesi come gli USA, la Finlandia, i Paesi Bassi e Singapore utilizzano il monitoraggio regolare e gli interventi tempestivi PER migliorare i risultati di apprendimento, ridurre le disuguaglianze e supportare l’apprendimento progressivo, l’Italia con il sistema Invalsi adotta un approccio focalizzato sulla valutazione DELLA istruzione, con un feedback annuale che non consente interventi immediati per gli studenti.

Nella prossima puntata vedremo come, di fatto, la cosa più importante ai fini del pieno sviluppo del processo di apprendimento sia la conoscenza precisa (e qui di nuovo emerge il ruolo degli errori di misura) del livello raggiunto dallo studente (Zona di Sviluppo Prossimale) e l’insegnante capace di parlare alla sua Zona di Sviluppo Prossimale. Quando questi due elementi si incontrano i fattori socioeconomici vengono in secondo piano, proprio come nell’esperienza di molte scuole religiose, capaci di creare luminari della scienza da piccoli orfani di umili origini. Ovviamente questo incontro tra la Zona di Sviluppo Prossimale dello studente e l’insegnante è qualcosa che deve accadere in maniera sistematica, almeno trimestralmente, con adeguati sistemi di valutazione per l’istruzione, e non con sistemi di valutazione dell’istruzione che hanno cadenza annuale come la maggior parte dei sistemi in essere a livello mondiale, Italia compresa, con poche eccezioni come gli USA dove la NWEA ha implementato tecniche efficienti e relativamente poco costose per favorire questo incontro tra insegnante e Zona di Sviluppo Prossimale dello studente.

Per inciso, questa importante informazione fu portata all’attenzione dell’INVALSI ben 20 anni fa (si sa, l’Italia è regolarmente indietro di 20 anni!), da Allan Olson (NWEA) in uno dei convegni internazionali maggior livello, per la presenza di nomi come Eric Hanushek e Trevor Bond, oggi star internazionale di tutti i sistemi educativi dell’Estremo Oriente, dal Vietnam alla Cina. Si  Ovviamente di questo convegno non esiste misteriosamente traccia in internet per cui posto con piacere un piccolo ricordo:

Gilda Venezia

Citazione 1

Ecco alcune citazioni rilevanti sull’applicazione di modelli SEM integrati con Rasch o IRT per la valutazione del valore aggiunto nelle scuole:

1. Raudenbush, S.W., & Bryk, A.S. (2002): “Value-added models provide a robust framework for assessing school effectiveness by accounting for prior student achievement and other covariates, often relying on latent trait models for precise measurement.” Fonte: Hierarchical Linear Models: Applications and Data Analysis Methods.

2. De Boeck, P., & Wilson, M. (2004): “Combining item response theory with structural modeling offers a powerful method for disentangling measurement error and structural relationships in educational evaluation.” Fonte: Explanatory Item Response Models: A Generalized Linear and Nonlinear Approach.

3. Goldstein, H. (2017): “Latent variable models, including IRT and SEM, are essential for modeling student progress and estimating the added value of schools, controlling for contextual factors.” Fonte: Multilevel Statistical Models.

4. Fox, J.-P., & Glas, C.A.W. (2001): “IRT models integrated with multilevel and structural equation models allow researchers to study student achievement growth and the impact of school–level interventions.” Fonte: Bayesian Item Response Modeling: Theory and Applications.

5. Muthén, B. (2004): “Generalized latent variable modeling provides a flexible framework for combining item-level measurement with structural modeling of growth and school effects.” Fonte: Mplus Technical Appendices.

6. OECD (2013): “Value-added modeling is increasingly relying on psychometric advances, such as integrating IRT–based test scores into multilevel structural models, to improve accuracy in measuring school performance.” Fonte: OECD Handbook for International Comparisons of Education Outcomes.

Citazione 2

Goldstein & Thomas (1996): Studi di valore aggiunto senza correzione dell’errore di misura tendevano a sovrastimare l’effetto socioeconomico fino al 30% rispetto a modelli che considerano misure latenti.

Raudenbush (2004): L’integrazione di IRT nei modelli gerarchici ha mostrato che il valore aggiunto scolastico era più significativo quando l’errore di misura veniva modellato, riducendo l’apparente impatto delle variabili socioeconomiche.

Fox & Glas (2001): Nei modelli Bayesian IRT-SEM, l’effetto del background familiare era più contenuto rispetto ai modelli tradizionali, mostrando che circa il 10-15% della varianza spiegata precedentemente attribuita al contesto socioeconomico era in realtà dovuta a misurazioni imprecise.

Condividi questa storia, scegli tu dove!