La casareccia valutazione della ricerca formato ANVUR

Ricerca
LA JOLLA, CA - FEBRUARY 28:  Embryologist Ric Ross examines a dish with human embryos under a microscope at the La Jolla IVF Clinic February 28, 2007 in La Jolla, California. The clinic accepts donated embryos from around the country through The Stem Cell resource which are then given to stem cell research labs for research.  (Photo by Sandy Huffaker/Getty Images)

Bisogna cambiare i criteri: ecco alcune idee

La nuova tornata dell’abilitazione scientifica nazionale (ASN) per le due fasce di docenza universitaria è appena partita e già piovono altre critiche sul sistema di valutazione dell’Agenzia Nazionale di Valutazione di Università e Ricerca (ANVUR).

Nel 2011, per valutare candidati e commissari dell’ASN, l’ANVUR ha definito “criteri e metodologie basati su parametri oggettivi e certificabili” per il “miglioramento progressivo della qualità scientifica dei docenti abilitati, misurata mediante indicatori di produttività scientifica”.

Nelle prime tornate dell’ASN, i parametri “oggettivi e certificabili” erano dati dalle mediane di tre indicatori: 1) numero di articoli 2) numero di citazioni e 3) h-index.

Un ricercatore ha indice h, se possiede h pubblicazioni con almeno h citazioni ciascuna. Nella nuova ASN, i “valori soglia” dei medesimi indicatori hanno sostituito le mediane e i candidati dovranno averne almeno due per essere ammessi. Ma il risultato non cambia: la quantità resta il fattore discriminante.

I suddetti parametri suscitano non poche perplessità perché gli indicatori quantitativi, soprattutto nel campo biomedico, non sono idonei a valutare due aspetti basilari per definire autonomia e qualità della ricerca: 1) il contributo del singolo agli articoli, espresso nei settori biomedici dall’ordine degli autori (i più rilevanti sono il primo e l’ultimo) e 2) il valore scientifico delle riviste.

Le citazioni, poi, hanno un peso eccessivo sulla valutazione. Infatti, esse aumentano in funzione della numerosità dei ricercatori di una data area, a prescindere dal valore delle pubblicazioni. Studi svolti in campo umano sono circa 200-1000 volte più numerosi e mediamente più citati di quelli condotti in organismi modello (il moscerino della frutta Drosophila melanogaster, il lievito o il nematode Caenorhabditis elegans).

Tuttavia, negli ultimi 20 anni ben sei premi Nobel per la Fisiologia o Medicina sono stati assegnati a ricercatori che hanno utilizzato tali organismi.

I parametri “oggettivi” dell’ANVUR, quindi, tendono a favorire gruppi grandi che lavorano in aree di ricerca più diffuse e pubblicano numerosi articoli con folte schiere di autori. Articoli che ottengono molte più citazioni rispetto a quelli di chi svolge ricerca di base di qualità in settori di nicchia. E come se non bastasse, l’uso di meri indici quantitativi favorisce il “mercato” di autori e citazioni, espedienti che alimentano un vero e proprio doping della valutazione.

La scarsa affidabilità del metodo ANVUR è nota anche all’estero. A riprova di ciò riporto i commenti di due autorevoli biologi, membri dell’Accademia Nazionale delle Scienze USA, che non potranno essere tacciati di opportunismo.

1) Daniel L. Hartl, Harvard University: Anyone who claims to have developed a methodology for evaluation of research based on a journal’s impact factor or a researcher’s number of citations, supposedly “objective” and “certifiable” criteria, has an invalid concept of how science really works and what impact one's research actually has on the field.

2) Mary-Lou Pardue, Massachusetts Institute of Technology: It seems to me that this system is so artificial that it should appeal only to those who do not know enough about the science to make judgements based on real value.

Per aggiustare un po’ le cose, consiglierei le seguenti modifiche: 1) Considerare il ruolo del candidato negli articoli, 2) Normalizzare per il numero di autori degli articoli; 3) Stimare il valore delle riviste scientifiche; 4) Usare un solo indicatore citazionale; 5) Eliminare le autocitazioni.

Nel futuro prossimo, però, sarà bene accantonare la bibliometria tout court e con essa il sistema delle ASN, per definire un metodo di valutazione e reclutamento basato su qualità, etica e responsabilità, dove l’elemento umano sia primario.

Vedi anche

Altri articoli