Appunti sulla necessità di distinguere

tra accountability e valutazione

(e di scegliere la seconda)

Del valore sottratto a scuole e docenti.

(A proposito del Rapporto sul cosiddetto Effetto Scuola o Valore Aggiunto)

L'impiego della statistica per calcolare «l'efficacia delle scuole» attraverso il cosiddetto Valore Aggiunto fa torto in primo luogo alla statistica, scienza meravigliosa e utilissima, che imporrebbe un certo senso della misura. Intendiamoci: il Valore Aggiunto sarebbe anche utile se impiegato come indicatore di miglioramento delle conoscenze e abilità rilevate dai test, all'interno di percorsi autovalutativi nelle scuole. Ma – come provo a dire da circa quindici anni – se viene invece usato per addossare su scuole e docenti l'intero peso esercitato sui test dalle infinite variabili non inserite nelle scarne funzioni di produzione educativa impiegate dall'Invalsi, allora diviene strumento della più retriva teodicea sociale, ovvero di un processo che accolla alla scuola tutte – proprio tutte – le disparità sociali, economiche e culturali.

Che la frittata sia fatta si evince dalle parole scelte dall'Invalsi in conclusione del Rapporto sul Valore Aggiunto 2018, parole prive di senso della misura. Quel che si misura non è l'efficacia delle scuole, ma – semmai – quella dei contesti nei quali sono inserite... E invece:

«Concludendo, con uno sguardo d’insieme, si può affermare che nel meridione e nelle isole non mancano in ogni grado scolare scuole efficaci al pari di quelle del resto d’Italia, accanto alle quali sussistono però scuole scarsamente efficaci in misura superiore a quanto si osserva nelle regioni centrali e settentrionali del Paese; in altre parole, la tendenza a una polarizzazione fra istituti di un genere e dell’altro è il tratto che contraddistingue, complessivamente, la situazione del sistema scolastico nel mezzogiorno d’Italia.»

marzo 2019

Ps. Sul Valore Aggiunto e la "teodicea sociale" rappresentata dall'accountability, ho scritto più approfonditamente in Sull'utilità e il danno di "misurazione e valutazione" in educazione.

A proposito di Valutazione e Accountability, prove Invalsi, misurazione, oggettività e culture della valutazione

Sintesi e riadattamento da:

Cristiano Corsini (2018), Una valutazione per il successo formativo. In: Irene Dora Maria Scierri Marco Bartolucci Rosario Salvato. Lettura e dispersione. Processi e linguaggi dell’apprendimento, p. 193-210, MILANO: FrancoAngeli (qui potete scaricarlo gratuitamente)

e da

Cristiano Corsini (2018). Sull’utilità e il danno di “misurazione e valutazione” in educazione. In: Cristiano Corsini (a cura di). Rileggere Visalberghi. p. 13-28, ROMA:Nuova Cultura (qui potete scaricarlo gratuitamente)

Nei due articoli trovate i riferimenti bibliografici.

Mentre l’accountability implica il guardarsi indietro per distribuire meriti o colpe, la valutazione serve per capire eventi e processi e indirizzare attività future (L.J. Cronbach, 1980)

[…] Nel 1998 Black e Wiliam pubblicano “Inside the black-box”. L’articolo sottolinea lo scollamento tra le scelte didattiche di buona parte del corpo docente e l’evidenza empirica raccolta dalla letteratura scientifica sull’efficacia della valutazione formativa. Secondo gli autori c’è in primo luogo un problema in relazione alla finalità della valutazione: «teachersʹ feedback to pupils seems to serve social and managerial functions, often at the expense of the learning function». In poche parole, la valutazione assolve funzioni di tipo burocratico/disciplinare piuttosto che educativo. Si valuta perché si deve, ed è saggio farlo dopo più valutazioni, e si usano spesso le valutazioni come minaccia per mantenere la disciplina in classe […].

Il quadro delineato da Black e Wiliam venti anni fa può essere tuttora considerato una vivida descrizione della situazione attuale. Questo, a dispetto dei richiami alla diffusione di una cultura della valutazione che negli ultimi anni hanno caratterizzato tanta letteratura e tanta normativa. Per comprendere meglio tale fenomeno è necessario ragionare sulle dimensioni che hanno caratterizzato l’affermazione di tale cultura.

Cosa si intende per cultura della valutazione? Nonostante la locuzione sia ampiamente richiamata, non è facile rintracciarne una compiuta definizione. Nel rapporto Invalsi sull’indagine Pirls 2006 (Invalsi, 2008, p. 99) si parla di «sviluppo di una cultura della valutazione (teach to test) con l’introduzione nelle scuole di prove di verifica strutturate (quesiti a scelta multipla) e semistrutturate (quesiti con stimolo chiuso e risposta aperta)». Si tratta di una definizione fortemente incentrata sugli strumenti, sebbene la definizione di una cultura, anche in un campo in cui l’utilizzo di strumenti di misura è distintivo,  non possa evitare riferimenti espliciti o rimandi impliciti a valori, credenze, finalità.  D’altra parte gli stessi indicatori, come ricordano Fitz-Gibbon e Kochan (2000), si riferiscono a «things we care about enough to measure».

Da questo punto di vista, dal punto di vista del perché dei processi valutativi che troppo spesso è adombrato dal come e dal cosa, l’attuale cultura della valutazione viene assimilata all’uso di strumenti rigorosi, dato che essi garantiscono oggettività alla misurazione dell’efficacia di scuole, università e docenti. A tanto rigore la cultura della valutazione assegna l’obiettivo di tenere sotto controllo le prestazioni di studentesse e studenti, scuole e università, verificando il risultato degli investimenti realizzati. La cultura della valutazione si sviluppa come aspetto complementare dell’autonomia scolastica e universitaria, descrivendosi prevalentemente in termini di accountability, ovvero di rendicontazione/rendicontabilità. Una cultura valutativa che si basa su quella che Lucisano (2011, 2015) definisce Sindrome del Figlio dell’Uomo, ovvero sull’idea che al controllo, alle misure e ai giudizi non possano che far seguito miglioramenti.

Una cultura valutativa caratterizzata da un ingenuo induttivismo, ben rappresentato dalle parole con le quali l’allora ministro Tremoni salutava il passaggio dai giudizi ai voti nella scuola primaria: «i numeri sono una cosa. I giudizi sono una cosa diversa. I numeri sono una cosa precisa, i giudizi sono spesso confusi. Ci sarà del resto una ragione perché tutti i fenomeni significativi sono misurati con i numeri […]. I numeri sono insieme precisi e semplici. Il messaggio che trasmettono è un messaggio diretto. Se gli stessi fenomeni - terremoto, moto marino, pendenza, temperatura corporea - fossero espressi non con numeri ma attraverso frasi complesse con finalità descrittive, il messaggio resterebbe impreciso» (Il passato e il buon senso, in “Corriere della Sera”, 22 agosto 2008).

Questo induttivismo incolto, che ignora la visione dialettica del rapporto tra misurazione e giudizio di valore proposta nei decenni precedenti (Visalberghi, 1955), assume un ruolo centrale, dato che garantisce inappellabilità alle classifiche stilate e date in pasto a un’opinione pubblica ansiosa di capire quali scuole (o università) facciano il “proprio dovere”. Vengono ampiamente impiegati indicatori che danno luogo a classifiche e finiscono col produrre, nell’immaginario collettivo, un sostanziale rovesciamento dei rapporti tra scuola e società così come erano stati delineati da Don Milani, dal Rapporto Coleman e dai successivi decenni di ricerche empiriche in educazione, addossando su scuole e docenti l’intera responsabilità delle differenze negli apprendimenti. Una sorta di teodicea secolare, che assolve il sistema economico dalle sue storture scaricandole su chi insegna. Un processo ben rappresentato dal calcolo del valore aggiunto rilevato dall’Invalsi o dalla classifica Eduscopio delle scuole migliori operata dalla Fondazione Agnelli. Si tratta di indicatori del tutto privi di validità (Amrein-Beardsley, 2014; Asa, 2014; Baker et al., 2010; Corsini 2009, 2012; Corsini, 2009; 2012), dato che non v’è corrispondenza alcuna tra le misure cui danno luogo e il costrutto che dovrebbero rappresentare, ovvero la qualità dell’insegnamento (Corsini, Zanazzi, 2015). Per esempio, l’ambiziosa e pluridecennale pretesa del valore aggiunto di ricondurre al residuo di una regressione l’efficacia e la qualità dell’insegnamento non ha prodotto alcuna evidenza empirica affidabile a suo sostegno e fatica a venire a patti con un costrutto che rimane elusivo se non assente.

Tali meccanismi valutativi non sono meno nocivi dentro il sistema educativo. Prendendo in prestito i concetti espressi da Foucault in «Soggettività e verità», siamo in presenza della costruzione di una verità, intesa come sistema di obblighi, che affermandosi porta i soggetti a interiorizzare meccanismi che li depotenziano. Secondo Borrelli (2015) e Pinto (2012, 2014), tali dinamiche sono tanto più pervasive quanto più anonime e numericamente espresse. Questa cultura valutativa comporta dunque effetti deleteri sulla qualità della didattica e sui processi d’inclusione (cfr., tra gli altri: Baker et al, 2010, Fondazione Giovanni Agnelli, 2015; Koretz, 2009; Ravitch, 2010), come il teaching to the test (dedicare sforzi, spazi e tempi didattici nell’addestrare studentesse e studenti alla forma del test), il cheating (agevolare le risposte esatte durante la somministrazione di test), lo skimming (selezionare per il test solo i soggetti migliori, allontanando quelli ritenuti peggiori o richiedendo per essi particolari certificazioni). La posta in palio legata alle misure (reputazione di dirigenti, scuole e docenti, possibilità di attrarre iscrizioni e fondi) può comportare la tendenza a rafforzare meccanismi di selezione in ingresso o in itinere della popolazione studentesca, in modo tale, ad esempio, da consentire alla scuola di ottenere posizioni migliori nella classifica Eduscopio, incentrata sul rendimento di ex studenti al primo anno di università. Elementi non ritenuti inclini ad affrontare un buon percorso accademico potrebbero essere scoraggiati nel proseguire gli studi in quello stesso istituto.

Una cultura della valutazione concepita in termini di accountability rende scarsamente conveniente includere e consolida la propensione a leggere le difficoltà incontrate da studentesse e studenti, o l’eterogeneità della classe, in termini di problemi da evitare. La recente polemica sui “licei classisti”, innescata dalla pubblicazione di Rapporti di Autovalutazione (Rav) che associano la qualità di apprendimento e insegnamento alla scarsa presenza di stranieri e disabili, assume da questo punto di vista una duplice rilevanza. In primo luogo conferma quanto i meccanismi di accountability possano rafforzare la tendenza a pensare le differenze come deficit. La seconda considerazione è relativa alla scelta di alcune scuole di difendersi dall’assalto mediatico cui sono state sottoposte, asserendo che quanto scritto sarebbe meramente in linea con la richiesta di fornire dati statistici. Ma, intanto in quei Rav c'è di più, ovvero una interpretazione di quei dati ben precisa e non richiesta, un’interpretazione che associa, implicitamente o esplicitamente, la qualità di processi di apprendimento e insegnamento all'ambiente elitario. E questa interpretazione (del tutto coerente con la teodicea secolare prodotta da questa cultura della valutazione), sta in un documento che le famiglie usano per scegliere la scuola. Ma, soprattutto, il richiamo ai dati è un buon esempio di quanto, all’interno di questa cultura valutativa, il come e il cosa nascondano il perché della valutazione. Tali informazioni, richieste dal sistema legato al dpr 80/2013 e fornite dalle scuole (che tuttavia possono anche scegliere di sottrarli al pubblico) vengono presentate come elementi primitivi, genuini, come dati, appunto. Ma i dati, scrive Dewey nella Logica, sono sempre assunti da chi fa ricerca come fatti del caso, elementi significativi nel corso dell’indagine; per usare le parole di Kuhn, «la teoria paradigmatica è direttamente implicita nel progetto dell’apparecchiatura capace di risolvere il problema» (Kuhn, 1962, p. 47). Un sistema che consente alle scuole di pubblicare certi dati è un sistema che assume che sia giusto che le famiglie scelgano una scuola in base al numero di stranieri o disabili che la frequentano.

Un’altra cultura della valutazione

L’affermazione della cultura della valutazione sin qui descritta appare in inarrestabile espansione, con Invalsi e Anvur che condizionano una parte via via crescente del lavoro di scuole e università. Non sembra esserci alternativa a questa cultura della valutazione. Ma, se è vero che ci accorgiamo dell’esistenza di una cultura quando avvertiamo l’esistenza di un’alternativa a quella cultura, appare appropriato delineare una cultura valutativa alternativa o, per meglio dire, autentica.

Ricondotta l’emergente cultura della valutazione nell’ambito dell’accountability, rimane da vagliare se essa abbia o meno diritto di cittadinanza all’interno della riflessione più fondata sui processi valutativi. È intanto possibile sintetizzare ottant’anni di studi valutativi in una definizione di valutazione educativa come processo con tre prerogative ben distinguibili. Essa è (I) un giudizio di valore, emesso sulla (II) distanza rilevata tra una situazione auspicata e una effettivamente riscontrata e finalizzato (III) all’assunzione di decisioni volte alla riduzione di tale distanza.

Il giudizio di valore che caratterizza l’atto valutativo è relativo a una situazione percepita come problematica e ha la funzione di fornire un contributo alla sua risoluzione. Come verrà mostrato i tre elementi individuati nella definizione sopra riportata, già impliciti nella «Teoria della Valutazione» delineata da Dewey nel 1939, attestano l’imprescindibilità della consapevolezza e della partecipazione attiva degli attori coinvolti nel processo. Inoltre l’accertamento-misurazione deve porsi in rapporto dialettico con l’attribuzione di un giudizio di valore. A sua volta, il giudizio di valore va rapportato alla finalità del processo stesso, ovvero alla necessità di incidere sui processi decisionali.

La prima prerogativa, la valutazione come giudizio che determina un valore, rivela come la valutazione abbia una insopprimibile dimensione soggettiva. Questa dimensione esercita un duplice ruolo. Essa da un lato è fonte di elementi distorsivi, i cui effetti hanno costituito un oggetto privilegiato di studio per la docimologia. Ma la dimensione soggettiva è anche garante dell’autenticità dell’intero processo e delle sue possibilità di successo. È in base alla nostra prospettiva che stabiliamo che la situazione attuale è suscettibile di miglioramento e, dunque, di indagine valutativa. Soggettività non significa arbitrio: la condivisione di responsabilità valutative è, come mostrato nella prima parte di questo contributo, essenziale alla buona riuscita del processo stesso. La cultura della valutazione che si è affermata si percepisce invece come oggettiva, fondata sul numero e incentrata sulla classificazione di meriti. A sostenere il predominio del numero e della misura sulla valutazione è la saldatura tra espressione numerica ed esigenze comunicative relative al controllo della qualità di apprendimento, insegnamento e ricerca. In una cultura della valutazione siffatta alla misurazione, appostata “come un killer sotto il sole”, è affidato il compito di spianare la strada all’assunzione di decisioni fondamentali su scuole e università, sollevando chi compie tali scelte dal peso delle responsabilità implicite in ogni giudizio di valore: d’altro canto l’evidenza statistica, scrive l’ex presidente dell’Invalsi Cipollone (2011), è “incontrovertibile”. Così si ricorre spesso, per attestare l’asetticità, l’imparzialità e il carattere meramente descrittivo delle misure erogate, all’abusata metafora della “fotografia del reale”, tradendo però, nell’immediato, una profonda incultura fotografica, se è vero che l’arte chiamata a sostenere tale retorica, come tutte le arti è, per dirla con Smargiassi (2009), “un’autentica bugia”, nella quale inquadratura, tempi di scatto e focale, elementi decisivi nella costruzione dell’immagine, sono, sempre, frutto della scelta di chi scatta, anche quando questi, scegliendo di non scegliere, si illude di lasciar fare alla macchina. Non esistono fotografie oggettive, non esistono valutazioni oggettive.

Prendendo in considerazione la seconda delle tre prerogative menzionate, ovvero la necessità del giudizio valutativo di esprimersi sulla distanza rilevata tra una situazione auspicata e una effettivamente riscontrata, è possibile esplicitare in maniera più dettagliata il ruolo della misura nel processo valutativo. Per Dewey (1939, p. 37) «vi è sempre qualche osservazione del risultato ottenuto in paragone e in contrasto con quello atteso, tale che il paragone getti luce sulla effettiva adeguatezza delle cose adoperate come mezzi». Le misurazioni devono possedere «capacità operativa e mediatrice nella determinazione del giudizio finale» (Dewey, 1938). Quanto più sarà resa esplicita questa distanza tanto più la nostra azione sarà informata e avrà maggiori possibilità di successo. La misurazione è qui latamente intesa come processo che consente di collegare concetti astratti a indicatori empirici (Lucisano, 1989). Ogni operazione di raffronto, a prescindere dalla sua formulazione (numerica o non), ha una natura quantitativa: «il semplice confronto tra una qualità scadente e un’altra che viene considerata migliore non fa altro che proporre una graduatoria» (Gattullo, 1989, p. 158).  Ma se la misurazione ha un ruolo rilevante (sebbene non egemonico) all’interno del processo valutativo, altra questione è il ricorso a una sua espressione numerica. Esso non è sempre indispensabile, talvolta è persino inappropriato: «è assurdo insistere sulla misurazione numerica quando il fine a cui la proposizione quantitativa si connette come mezzo a conseguenza è qualitativo, come è assurdo accontentarsi di una misurazione qualitativa (che in tal caso sarebbe un lavoro congetturale) nel caso di altre finalità. È in ultima analisi la natura del problema trattato che decide che genere di comparazione-misurazione sia richiesta al fine di ottenere una determinata soluzione. Alcuni si lamentano della riduzione a termini numerici, altri tutto vorrebbero ridurre a numero […] gli uni e gli altri perdono di vista il significato logico della misurazione, che è determinato dal riferimento strumentale delle proposizioni quantitative ad una conseguenza intenzionale oggettiva. Gli uni e gli altri considerano le proposizioni come definitive e compiute, quando in realtà sono intermedie e strumentali» (Dewey, 1938, p. 260).

Riguardo a questo secondo aspetto l’attuale cultura della valutazione segna il passo sotto due punti di vista. In primo luogo fondandosi su un ricorso pervasivo all’espressione numerica, garante di oggettività e affidabilità. In secondo luogo, a differenza di quanto raccomandato da Ames, le misure prese fanno riferimento a strumenti di tipo normativo (consentono cioè solo un confronto con il posizionamento rispetto a popolazioni e contesti di riferimento, cfr. Corsini, Zanazzi, 2015) piuttosto che criteriale (incentrati su espliciti livelli di padronanza analiticamente descritti).

Il terzo aspetto è relativo al perché della valutazione ed è quello più importante. Una valutazione che non è percepita come processo autenticamente finalizzato allo sviluppo di soggetti e contesti chiamati in causa nel giudizio ha notevoli probabilità di venire vissuta come mero assolvimento di un compito burocratico o come strumento di erogazione di premi o punizioni (Lucisano, Corsini, 2015; Corsini, 2015). Da questo punto di vista, le indagini sulle concezioni della valutazione da parte dei docenti risultano particolarmente significative. Si tratta di un filone di indagine relativamente recente (Brown, 2004, 2008, 2011; Davis & Neizel, 2011), che identifica quattro concezioni valutative dei docenti, le prime tre incentrate sulla base di finalità attribuite alla valutazione (miglioramento di insegnamento e apprendimento, accountability degli studenti; accountability delle scuole) e un’ultima, corrispondente a una visione della valutazione come processo inadeguato, inaccurato o irrilevante. Va segnalato come solo la prima, che comporta un attivo coinvolgimento di studentesse e studenti nel processo valutativo, abbia evidenziato associazioni positive con i livelli di apprendimento (Hattie, Timperley, 2007).

Per concludere: la necessità di un’altra narrazione valutativa.

Secondo Laura Greenstein, a rendere efficace la valutazione non è l’impiego di certi strumenti, ma l’uso delle informazioni raccolte. Se queste vengono usate per trasformare la didattica, allora la valutazione avrà modo di incidere positivamente sull’apprendimento, altrimenti avremo una mera raccolta di dati impiegabile con finalità rendicontative. Come accennato, oggi, mezzo secolo dopo Scriven e venti anni dopo il lavoro di Black e Wiliam, tutto sommato siamo ancora lì: sappiamo che la valutazione formativa funziona, ma è praticata in misura ridotta nelle scuole e nelle accademie. Perché? Per capire il perché è utile tornare ancora a Dewey. Nella sua “Teoria della valutazione”, il filosofo spiega chiaramente che il tempo di appropriate valutazioni è il futuro, dato che esse «non vertono su cose od eventi occorsi o che già esi¬stono, ma riguardano cose che ancora devono esser poste in essere». In pratica, una valutazione è efficace e autentica se ci lega a un impegno nel futuro, e questo equivale a dire che chi è impegnato nella valutazione, tanto come valutatore quanto come valutato, deve essere disposto a modificare la propria azione in seguito ai giudizi di valore emessi sulle misure raccolte. Ma quanti docenti sono disposti a fare questo? Quanti, piuttosto che aprire la propria routine all’incertezza di un cambiamento coerente con i giudizi di valore espressi, preferiscono separare nettamente valori e prassi, finendo col separare valutazione e insegnamento?

E le rilevazioni Invalsi, quanto sono utili per arricchire lo sguardo gettato sul lavoro svolto in classe, quanto per progettare interventi in grado di migliorare la didattica? Poco: la finalità di accountability ne condiziona negativamente validità di contenuto e costrutto e comporta cheating, teaching to the test e skimming. I benefici sono dubbi, i danni certi.

È dunque ora di compiere una scelta tra valutazione e accountability. Tenendo ben presente che, come ricordato in apertura, mentre l’accountability implica il guardarsi indietro per distribuire meriti o colpe, la valutazione serve per capire eventi e processi e indirizzare attività future.

ottobre 2018