Il "Leiden Manifesto": un decalogo per la valutazione della ricerca scientifica

La valutazione della qualità scientifica della ricerca, e di conseguenza del merito, è un tema ricorrente della discussione su università e ricerca. In tempi recenti la proliferazione di dati bibliometrici, resi facilmente disponibili dalla rete, ha fatto sì che al posto della valutazione qualitativa secondo il "giudizio dei pari" si siano sempre più affermati processi di analisi quantitativa di routine per la determinazione di ranking diffusi su scala internazionale. Il risultato è che procedure inizialmente concepite per migliorare la qualità della ricerca stanno minando tutto il sistema scientifico e creano una sorta di "impact obsession" tra le università, le istituzioni di ricerca e i ricercatori. Tipico esempio di uso scorretto per la valutazione è quello del famoso "impact factor" di Thomson Reuters, originariamente creato come strumento per le biblioteche per identificare le riviste da acquistare, e poi trasformatosi in una misura della qualità scientifica di una rivista e degli articoli in essa pubblicati.

Una serie di criteri e raccomandazioni per migliorare il modo in cui viene valutata la qualità di una ricerca erano stati già raccolti nella "San Francisco Declaration of Research Assessment – DORA", un documento redatto dall'American Society for Cell Biology nel 2012. Ma l'anno scorso, durante il convegno "Science and Technology Indicators – STI 2014" svoltosi a Leida dal 3 al 5 settembre 2014, anche la comunità degli "scientometristi" ha preso atto delle distorsioni e degli effetti dannosi creati da un cattivo uso degli indicatori prodotti e messi a disposizione dalla comunità stessa: "As scientometrists, social scientists and research administrators, we have watched with increasing alarm the pervasive misapplication of indicators to the evaluation of scientific performance".

Durante una sessione dedicata agli standard di qualità per gli indicatori in scienza e tecnologia, Diana Hicks, del Georgia Institute of Technology, Atlanta, USA, ha proposto una serie di regole per l'uso delle metriche quantitative, formalizzandole in un documento che, dopo essere stato perfezionato in collaborazione con altri colleghi partecipanti al meeting, è stato recentemente pubblicato su Nature con il nome di "Leiden Manifesto" (vol. 520, 23 April 2015, pp. 429-431). Il documento contiene una serie di raccomandazioni rivolte a rimediare alle ingiustizie introdotte dall’uso scorretto degli indicatori bibliometrici, sintetizzate in 10 principi:

1. Avvalorare ogni valutazione quantitativa con il giudizio qualitativo di un esperto.
2. Misurare le prestazioni in relazione alla missione di ricerca dell'istituzione, del gruppo o del ricercatore.
3. Salvaguardare l'eccellenza nella specifica ricerca locale.
4. Mantenere aperto, trasparente e semplice il processo di acquisizione e di analisi dei dati per la valutazione.
5. Consentire ai valutati di verificare i dati e l'analisi utilizzati nella valutazione.
6. Tenere conto delle differenze tra aree disciplinari nelle modalità di pubblicazione e citazione.
7. Basare la valutazione dei singoli ricercatori su un giudizio qualitativo del loro portafoglio scientifico.
8. Evitare finta concretezza e falsa precisione.
9. Riconoscere gli effetti sistemici della valutazione e degli indicatori.
10. Verificare regolarmente la qualità degli indicatori e aggiornarli.

Va segnalato che non sono affatto messe in discussione le potenzialità dell'uso della bibliometria, ma se ne raccomanda un utilizzo appropriato e responsabile, sempre a supporto del giudizio qualitativo invece che in sua sostituzione. Gli indicatori, in definitiva, non dovrebbero mai essere usati come "macchine di valutazione".

Angela Oleandri
Direttore Editoriale SIF

The evaluation of the quality of scientific research, and as a consequence of the performance, is a recurring theme in the debates on research and university. In recent times the proliferation of bibliometric data, made easily available by the web, has led to the progressive substitution of the qualitative judgement of the "peers" with routine quantitative analyses for the determination of internationally widespread rankings. As a result, procedures initially designed to increase the quality of research are now threatening the whole scientific system and generate a sort of "impact obsession" amongst universities, research institutions and researchers. A typical example of improper assessment is that determined by the famous "impact factor" calculated by Thomson Reuters, originally created as a tool for librarians to identify journals to purchase and which has now turned into an indicator of the scientific quality of a journal and of the papers published therein.

A set of criteria and recommendations to improve the ways in which the output of scientific research is evaluated had already been collected in the "San Francisco Declaration of Research Assessment – DORA", a document issued by the American Society for Cell Biology in 2012. But last year during the meeting "Science and Technology Indicators – STI 2014" that took place in Leiden from 3 to 5 September 2014, also the scientometric community acknowledged the distortions and damage caused by the misuse of the research metrics made available by the community itself: "As scientometrists, social scientists and research administrators, we have watched with increasing alarm the pervasive misapplication of indicators to the evaluation of scientific performance".

During a session dedicated to quality standards for science and technology indicators, Diana Hicks of the Georgia Institute of Technology, Atlanta, USA, presented a first draft of a set of statements for best practice in quantitative metrics usage. The principles were then improved and finalized in a document, written in collaboration with other colleagues present at the meeting, which has been recently published in Nature with the title "Leiden Manifesto" (vol. 520, 23 April 2015, pp. 429-431). The document presents a series of statements that aim to remedy to the injustice introduced by the wrong use of bibliometric indicators. These are summarized in the following 10 principles:

1. Support qualitative, expert assessment in any quantitative evaluation.
2. Measure performance against the research missions of the institution, group or researcher.
3. Protect excellence in locally relevant research.
4. Keep data collection and analytical processes open, transparent and simple
5. Allow those evaluated to verify data and analysis.
6. Account for variation by field in publication and citation practices.
7. Base assessment of individual researchers on a qualitative judgement of their portfolio.
8. Avoid misplaced concreteness and false precision.
9. Recognize the systemic effects of assessment and indicators.
10. Scrutinize indicators regularly and update them.

It should be stressed that the potential incident to the use of bibliometry is by no means called into question, but a responsible and proper use in support of, and not replacing, the qualitative judgement is recommended. To sum up, indicators should never be used as "evaluation machines".

Angela Oleandri
SIF Editorial Director