OCSE PISA: risultati 2018

Credits: OECD, CC BY-NC-SA 3.0 IGO.

Nei giorni 3 e 4 dicembre 2019 si è svolto nella sede dell'OCSE a Parigi un importante evento sullo stato, le prospettive, proposte e idee concernenti l'istruzione nel mondo. Sono stati pubblicati gli ultimi risultati del Programme for International Student Assesment (PISA) – in Italia con rilancio da INVALSI – e si è tenuto il Forum 2019 for Word Education: "The future of education: where do we go from here?".

Il programma PISA, lanciato nel 2000, saggia studenti di 15 anni di età in tutto il mondo. I test sono progettati da esperti internazionali, con lo scopo specifico, che li caratterizza rispetto ad altri, di valutare il livello a cui gli studenti controllino argomenti chiave per essere preparati in situazioni reali nella loro futura vita di adulti. Le materie sono la lettura, la matematica e le scienze, con focalizzazione ciclica su di una di queste.

Nell’edizione 2018, sono stati selezionati 600.000 studenti (11.785 in Italia), in rappresentanza di 32 milioni di coetanei, di 79 Paesi, con procedure definite e concordate in modo da cercare che il campione fosse rappresentativo, e per evitare possibili "trucchi".

Il fuoco dell’ultima edizione è la lettura in ambiente digitale – i test erano su computer –, dove il linguaggio è differente da quello tradizionale e la mole di informazione disponibile è vasta e non sempre corretta. I test non mirano a controllare quanto gli studenti conoscano del programma di studi, quali la letteratura del loro Paese, l'algebra, la geometria, la biologia o la geografia. Deliberatamente i quiz mirano invece a mettere gli studenti davanti a problemi che non hanno incontrato a scuola. Lo scopo non è appurare quanto il singolo studente sia preparato, ma il livello delle abilità di cui potrà disporre il Paese. Nella successiva analisi, confrontando i diversi Paesi, si ricercano analogie e differenze, per ricavarne strumenti per i decisori politici, gli insegnanti e i genitori, come guida per le loro scelte. Per esempio, i decisori, in molti Paesi, usano PISA per fissare i benchmark.

Nei test, interattivi a risposta multipla predefinita, non si trova la soluzione leggendo il testo della pagina in cui la questione è presentata, ma lo studente deve cercarla navigando e leggendo altre pagine.

I risultati sono ora pubblicati in otto volumi (a questo link l'Executive Summary dei primi tre) che contengono dati e analisi. Viene messo in risalto che nei paesi OCSE uno studente su quattro ha difficoltà nel connettere informazioni provenienti da differenti sorgenti e (solo) uno su 10 è capace di distinguere tra fatti e opinioni nel leggere soggetti non familiari. C'è da chiedersi se sia tutta colpa della scuola, quando organismi ufficiali e stampa "vendono" l'opinione della "maggior parte degli esperti" come prova scientifica o le previsioni del tempo riportano valori di temperatura "percepita".

Per ogni Paese sono riportati valor medio e varianza delle distribuzioni dei punteggi. Queste sono attorno al 20%. I dati sono raggruppati in 7 bande di circa 70 punti di ampiezza per l'ulteriore analisi.

Vengono disaggregati i dati delle ragazze e dei ragazzi, viene presa in esame, tra l’altro, la situazione più o meno svantaggiata degli studenti, sia per il paese o regione in cui vive, sia per il benessere e la cultura della famiglia. Nei casi di progressi notevoli raggiunti in certe regioni, gli analisti cercano di comprendere le caratteristiche di base dei corrispondenti programmi educativi, per il beneficio di altre regioni in analoghe situazioni.

Un risultato a livello globale è che in lettura le ragazze fanno meglio dei ragazzi in tutti i Paesi partecipanti, in matematica in genere vanno meglio i ragazzi, in scienze sono in parità. È stato anche analizzato se la selezione del percorso scolastico fatta in età giovanissima in alcuni Paesi, al di là dell’ovvia esaltazione delle disuguaglianze, produca o meno migliori studenti, trovando che è vero l’opposto. I sistemi scolastici di maggior successo, secondo i risultati di PISA, sono quelli in cui si dà a tutti la stessa opportunità, indipendentemente dallo stato sociale e familiare. D’altra parte, come ovvio, il background familiare ha enorme impatto sulle possibilità di successo degli studenti.

Un altro risultato importante è che non è affatto necessario che un Paese, o una regione, siano ricchi per dare un'educazione di alto livello ai suoi studenti. Questo succede invece quando quel Paese, o quella regione, ha deciso che l'educazione è una priorità e ha messo in essere politiche attive per attrarre ed educare buoni insegnanti.

Per l'Italia i punteggi aggregati sono: in lettura, media = 476, σ = 97 (media OCSE = 487, σ = 99), matematica media = 487, σ = 94 (media OCSE = 489, σ = 91), scienze media = 468, σ = 90 (media OCSE = 489, σ = 94). Gli errori statistici sulle medie, data la dimensione del campione e ammesso che le variabili siano gaussiane, che non sembra essere del tutto vero, sarebbero in cifra tonda ±1. A questo livello, cioè un paio di per mille, l'incertezza sistematica potrebbe non essere trascurabile. Date le notevoli differenze tra i sottoinsiemi di tipologia di scuola, geografici, etc. la rappresentatività del campione dipende dai criteri usati per definirlo. Ciò porta a un errore sistematico, ma non sono riuscito a trovarne valutazione. Comunque PISA riassume (tra parentesi mie notazioni): "Nel 2018, l'Italia ha ottenuto un punteggio inferiore alla media OCSE in lettura (–11 ±1 stat ±? sist) e scienze (–21 ±1 stat ±? sist) e in linea con la media OCSE in matematica (–2 ±1 stat ±? sist). La prestazione media dell'Italia è diminuita, dopo il 2012, in lettura e in scienze, mentre si è mantenuta stabile (e al di sopra del livello osservato nel 2003 e 2006) in matematica. Il rendimento in lettura è diminuito in particolare tra le ragazze (ed è rimasto stabile tra i ragazzi). Il rendimento in scienze è diminuito in modo più marcato tra gli studenti con i risultati più elevati, in misura simile sia per i ragazzi sia per le ragazze". Particolarmente preoccupante è l’inversione di tendenza dal miglioramento dai primi anni 2000 al 2012 al peggioramento negli ultimi 6 anni.

Rilevanti sono le differenze tra tipologie di scuole e aree geografiche. Nella lettura, a fronte di un punteggio medio OCSE di 487, in Italia si va da 521 nei licei a 404 nei centri di formazione professionale e, per tutte le tipologie assieme, da 501 nel Nord Est a 439 nel Sud e Isole.

Il Forum for World Education, co-organizzatore dell’evento successivo, è una ONG con sede negli Stati Uniti, nata a Pechino 15 mesi fa. Durante l'evento sono intervenuti leader mondiali, come Richard Branson fondatore di Virgin Group e Jack Ma fondatore di Ali Baba. Sono seguite una serie di sessioni di discussione (nessuna partecipazione italiana) sulle relazioni tra istruzione, economia, tecnologie informatiche e società. Chi è interessato può vedere gli interventi su YouTube.

OECD PISA: 2018 results

On December 3 and 4, an important event was held at the OECD in Paris on the status, the perspectives, ideas and proposals concerning the education in the world. Results have been released from the Programme for International Student Assessment (PISA) – in Italy relaunched by the INVALSI – followed by the 2019 Forum for Word Education: "The future of education: where do we go from here?".

Every three years, starting in 2000, PISA tests 15-year-old students from all over the world in reading, mathematics and science, with cyclic focusing on one of the issues. The tests, differently from many others, are designed to gauge how well the students master key subjects in order to be prepared for real-life situations in the adult world.

In the 2018 edition, about 600.000 students (11.785 in Italy), representing 32 millions, were selected, from 79 Countries, using well defined and agreed upon procedures to try to assure an unbiassed sample and to avoid possible "tricks".

The focus of the last round is the reading in a digital environment – tests have been on a computer – where the language is completely different from the traditional one and the available information is huge in size, and not always correct. The tests do not aim at establishing how much students know of the curriculum, as the literature of their Country, algebra, geometry, biology or geography. Contrastingly, the quizzes confront the students with problems that have not met in the school. The scope is not to learn how much the single student knows, but the level of the Country skill. In the following analysis, Countries are compared, looking for similarities and differences, to extract best practices and instruments for guiding the choices of policy decision makers, teachers and parents. In several Countries, e.g., decision makers set their benchmarks using the PISA outcomes.

In the tests, which are interactive with predefined multiple answers, the student does not find the right one reading the text in the page in which it is proposed. On the contrary, he/she has to try to find it navigating through and reading several pages.

The results have now been published in eight volumes (at this link the Executive Summary of the first three volumes) containing lots of data and analyses. An outcome is that in the OECD Countries one student in 4 has difficulty in connecting pieces of information provided by different sources and (only) one in 10 is able to distinguish facts from opinions when reading about an unfamiliar topic. One might wander, on purpose, whether this is a fault of the school only, when official bodies and members of the press "sell" the "opinion of the majority of the experts" as a scientific proof and when weather forecasts claim to measure a "perceived" temperature.

For each Country, the means and the variances of the score distributions are reported. The standard deviations are around 20%. Entries are grouped in 7 categories, about 70 points wide, for further analysis.

Data for girls and boys are disaggregated, the level of disadvantage of the students is considered, both for the country or region in which he/she lives and the family well-being and culture. Analysts try to understand the basic characteristics of the education programmes underlying the rapid progress achieved in some regions for the benefit of other regions in similar situations.

A global level result is that girls better perform in reading than boys in all the participating Countries, while in mathematics better are the boys in the majority of the cases; in science there is equality. It has been also investigated whether the selection of the educational trajectory already at a very young age imposed in some countries, produces, beyond the obvious amplification of inequalities, better students, finding that the opposite is true. The most successful school systems, according to the PISA findings, are those in which the same opportunities are given to everybody, independently of the social and family status. On the other hand, as obvious, the family background has a huge impact on the success chances of the students.

Another relevant finding is that a Country, or region, has not necessarily to be rich to provide a high level education to its students. This happens when that Country, or that region, decides education to be a priority, starting active policies to hire and train good teachers.

In Italy, the scores are the following: in reading, mean = 476, σ = 97 (OECD mean = 487, σ = 99), mathematics mean = 487, σ = 94 (OECD mean = 489, σ = 91), science mean = 468, σ = 90 (OECD mean = 489, σ = 94). The statistical uncertainties on the means, considering the size of the sample, assuming the variables to be gaussian – which however does not look to be exactly the case –, are in round figure ±1. At this, about ±2 permille level, the systematic uncertainty might not be negligible in comparison. Given the large differences between school types, geographical factors and the like, how much the sample is unbiassed depends on the criteria used to define it. This contributes to the systematic uncertainty of the result. However I was not able to find an evaluation of that. Anyway, PISA summarises (in parentheses my notes): "In 2018, Italy scored below the OECD average in reading (–11 ±1 stat ±? syst) and science (–21 ±1 stat ±? syst), and around the OECD average in mathematics (–2 ±1 stat ±? syst). Mean performance in Italy declined, after 2012, in reading and science, and remained stable (and above the level observed in 2003 and 2006) in mathematics. Reading performance declined, in particular, amongst girls (and remained stable among boys). Science performance declined most markedly amongst the highest-achieving students, by a similar amount for both boys and girls". Particularly worrying is the inversion of the evolution, improving in years 2000 up to 2012, but later declining.

Relevant are the differences between school types and geographic areas. In reading, in which the OECD mean score is 487, in Italy it ranges from 521 in the lyceums to 404 in the centres for professional training and, for all the school types together, from 501 in the North East to 439 in the South & Islands.

The Forum for World Education, co-organiser of the following event is a NGO based in the USA, born in Beijng 15 months ago. The meeting started with contributions of world leaders, like Richard Branson founder of the Virgin Group and Jack Ma founder of Ali Baba. These were followed by a number of discussion panels (no Italian participation) on the relationships between education, economy, information technologies and society. The interested reader can find all of that on YouTube.