Il terzo tempo della VQR

Con il Decreto Ministeriale n. 1110/29-11-2019 "Linee Guida", inizia ufficialmente il terzo esercizio della Valutazione nazionale della Qualità della Ricerca (VQR3), per gli anni 2015-2019. L'esercizio di valutazione, coordinato e diretto dall'ANVUR, coinvolge obbligatoriamente le università italiane e gli enti di ricerca (EPR) vigilati dal MIUR ed è aperto, su base volontaria, anche alle istituzioni di ricerca non vigilate. La VQR3 rappresenta il terzo esercizio di valutazione della ricerca nazionale, preceduta dalle VQR 1 (2004-2010) e VQR2 (2011-2014). Il bando dell'ANVUR che dà attuazione al decreto ministeriale è stato pubblicato il 3 gennaio 2020.

Sia le linee guida sia il bando ANVUR hanno introdotto una serie di novità rispetto ai due esercizi di valutazione precedenti, e non si può non notare che in alcuni punti sembrano indicare orientamenti contrastanti nelle politiche attuative della valutazione. Prendiamo per esempio le indicazioni per la nomina dei Gruppi di Esperti della Valutazione (GEV). Le linee guida sembravano indicare un sistema di sorteggio tra una vasta platea di candidati selezionati in base a pochi vincoli di accesso. Al contrario, il bando ha introdotto una serie di vincoli aggiuntivi molto stringenti, e una complessa serie di criteri per assicurare una prevalenza di personale universitario rispetto alle altre componenti della ricerca nazionale, pur dovendo garantire una presenza di tutte le diverse componenti del mondo scientifico.

Un altro aspetto riguarda l'impostazione della valutazione dei prodotti: le linee guida danno l'impressione di favorire una valutazione centrata sulla peer review, eventualmente informata da dati citazionali laddove possibile. Invece il bando sembra suggerire, per le aree scientifiche in cui è applicabile, una decisa valutazione bibliometrica, molto più simile a quella delle precedenti VQR, ma con alcune significative differenze:
– A differenza di prima, questa volta non viene definito uno specifico algoritmo bibliometrico per la cosiddetta "informed peer review", lasciando ampia discrezionalità ai GEV nel definire la questione. Il bando lascia così i ricercatori e le istituzioni senza regole certe e definite sulla modalità di valutazione dei prodotti.
– Il bando contiene una precisa indicazione per una valutazione "relativa al dato nazionale", assegnando ex-ante una fascia di distribuzioni percentuali alle cinque differenti classi di merito. Per esempio, i prodotti con la valutazione migliore non possono pesare più del 20% o meno del 5% di tutti i prodotti dell’area. In molte aree, come mostrato anche dalle VQR precedenti, la ricerca italiana presenta caratteristiche di eccellenza, se rapportata alla produzione internazionale, ben più ampie della quota del 20%. Verrebbero cosi favorite le aree poco competitive a livello internazionale e sfavorite quelle dove l’Italia figura ai vertici della ricerca internazionale.

Un'altra problematica riguarda il numero di "prodotti" della ricerca (articoli su rivista, libri, ecc.) da conferire. Ogni struttura dovrà presentare un numero di prodotti triplo rispetto al numero di afferenti. Si possono scegliere fino a quattro prodotti per autore decidendo così di non presentare prodotti per alcuni ricercatori, ipotizzando ex-ante una qualità "inferiore" dei loro prodotti. Questa soluzione potrebbe incidere sulla reputazione dei singoli, in un contesto dove si valutano le strutture e non i singoli ricercatori.

Inoltre, viene delineata una procedura assai complicata di conferimento delle pubblicazioni in base al numero di coautori. I prodotti con meno di 6 autori possono essere presentati al massimo da 3 istituzioni e all'interno di ogni istituzione può essere presentata al massimo da due o tre dipartimenti a seconda che l’istituzione sia universitaria o un EPR. Per i prodotti con più di 5 autori, queste limitazioni cambiano significativamente a seconda dell’area scientifica e del settore scientifico disciplinare di pertinenza del prodotto (5 o 15 istituzioni con un massimo di 3 dipartimenti universitari e 4 strutture degli EPR). Questa complicata costruzione differisce dalle regole sia della VQR1 (un singolo conferimento di prodotto per tutto l’ente) sia della VQR2 (i conferimenti possono essere molteplici, ciascuno per singola struttura purché il coautore del prodotto appartenga alla struttura). La molteplicità di conferimento del prodotto può diventare elevata per le grandi collaborazioni nel campo dell'(astro)fisica particellare (LHC, etc.), dove sono coinvolte un gran numero di università e di strutture degli EPR. In questo caso il bando ha recepito un aspetto tecnico importante dei progetti della cosiddetta "Big Science", che non era stato approfondito nelle linee guida.

Una ulteriore complicazione nasce dalla necessità di indicare lo specifico contributo significativo di ciascun coautore a cui viene associata la pubblicazione. Soprattutto nel caso in cui si sforino i limiti di molteplicità previsti del bando, i GEV sono tenuti a verificare la significatività del contributo di ciascun coautore associato alla pubblicazione, nonché la presenza di ulteriori pubblicazioni di riserva per compensare lo sforamento. Inoltre, qualora risultasse poco significativo il contributo dell’autore alla pubblicazione, il prodotto per quell'autore/struttura verrebbe declassato alla classe di merito più bassa. Ancora non siamo in grado di quantificare le conseguenze di questa complicatissima procedura di selezione dei prodotti/autori, ma appare evidente l’enorme lavoro richiesto alle istituzioni per affrontare la VQR3 ed è senz'altro auspicabile un accordo preventivo fra tutte le istituzioni coinvolte negli stessi grandi progetti di ricerca per non sforare i limiti imposti sulla molteplicità.

Infine, ci sarà la valutazione della Terza Missione che, introdotta in via provvisoria nell'esercizio VQR2, qui assume un contorno più definito essendo demandata a un GEV interdisciplinare i cui componenti vengono scelti tra persone con un profilo di trasferimento tecnologico e di valorizzazione dei risultati della ricerca.

Insomma, un bel rompicapo.