A proposito di “Con questi criteri di valutazione la ricerca perde fiducia in se stessa” di Tullio Gregory (Corriere della Sera, 10 settembre 2011).
La riforma dell’università e dei meccanismi di reclutamento e carriera avviata con la legge 240/2010 (Gelmini) ha prodotto nuove proposte per la valutazione della ricerca scientifica. Il dibattito che le riguarda mi sembra inadeguato, lo mostro confrontando le proposte dell’ANVUR (Agenzia Nazionale per la Valutazione dell’Università e della Ricerca, 22/6/2011) alla critica di Tullio Gregory sul Corriere della Sera (10/9/2011).
Sintetizzo anche aspetti generali della valutazione della ricerca, conseguenze sull’università e tendenze internazionali, per evidenziare un problema della valutazione della ricerca scientifica in Italia. Commenterò il quadro dell’università che emerge dall’insieme di queste considerazioni.
Valutazione della ricerca scientifica
Le possibili direzioni della ricerca scientifica sono infinite, le risorse da destinarvi limitate, allora è necessario valutare per decidere dove impiegarne di più e dove di meno. Come valutare il lavoro di un ricercatore? Fisica o lettere il principio è uguale, quanto bene fa al mondo, ma è un metro non applicabile in pratica. Si ricorre perciò a un criterio indiretto: l’importanza che ha per gli studi del suo campo. Questo può essere valutato solo da esperti dello stesso campo del ricercatore, i quali per questa competenza sono detti suoi “pari”, in inglese peer. La valutazione dei pari è la peer review.
Meccanismi di valutazione nell’università
Una commissione di concorso universitario fa questo tipo di valutazioni. Esse non sono standardizzabili e possono anche rivelare differenze di vedute, più utili che dannose e giustificate dalle incertezze della ricerca. Perciò i meccanismi della valutazione possono apparire poco limpidi: basati su considerazioni incomprensibili fuori da uno specifico ambiente professionale, implicano conflitti e negoziazioni per spartire risorse (finanziamenti, cattedre). Questi caratteri sono intrinseci al sistema, ma possono anche ostacolare l’accesso alle risorse e nascondere abusi.
Tendenze internazionali
Nei paesi industrializzati, quelli che più investono in ricerca, si chiede maggiore verificabilità dei meccanismi di valutazione, per un migliore controllo esterno dell’impiego di risorse pubbliche. Da qui il crescente impiego internazionale della valutazione bibliometrica, basata su dati come numero di pubblicazioni, citazioni ricevute e indici collegati (Impact Factor, indice H). Essi sono rilevati su pubblicazioni con peer review, dove esperti indipendenti e anonimi valutano ogni scritto da pubblicare. Queste tendenze sono forti; Gregory segnala il discredito della valutazione bibliometrica, vero è l’opposto: la sua influenza è tale da doverne limitare gli eccessi. Per esempio, nel rapporto dell’Académie des Sciences (17/1/2011) citato da Gregory si legge: “ … sebbene si debba evitare un eccessivo affidamento ai criteri bibliometrici, è importante tener presente che essi sono necessari per integrare le valutazioni qualitative” (mia traduzione, pag. 10).
Falsi problemi
Su questa linea l’ANVUR propone per candidati (e commissari) di concorso dei requisiti bibliometrici minimi: tra chi li soddisfa può vincere anche chi ha pubblicato meno; perciò le quantificazioni bibliometriche non costringono troppo la valutazione, che non è standardizzabile e rimane soprattutto qualitativa. Nella critica di Gregory sembra il contrario, pare che i valori bibliometrici vadano massimizzati.
Gregory cita il CNR (Consiglio Nazionale delle Ricerche, 2009): i parametri proposti dall’ANVUR non sono validi perché rilevati da database bibliometrici che hanno “carattere non scientifico … trattandosi di prodotti puramente commerciali”, nei quali si entra “non sulla base di valutazioni scientifiche, ma per accordi economici, con accesso a pagamento”. Contrapporre il commerciale o economico allo scientifico è ideologico e insensato, perché basato sul presupposto che ciò che è scientifico debba essere inutile o senza costi. Invece la questione dell’accesso a pagamento è seria.
Istituzioni di ricerca in tutto il mondo pagano per consultare i database bibliometrici Scopus di Elsevier e ISI di Thomson, non vedo come ciò sia criticabile. Suppongo allora che l’accesso in questione sia il censimento nei database di libri o riviste scientifiche, e si sostenga che è condizionato a un pagamento. Questo merita attenzione, ma è pettegolezzo. E’ certo invece che le pubblicazioni censite fanno la peer review, per questo ISI e Scopus sono così diffusi. E’ tranquillizzante, lo è anche che possibili conflitti d’interesse ricevano attenzione; perciò Scopus ha nominato una commissione di garanzia. E’ preoccupante invece, ma taciuto, che in Italia l’uso di stampare libri accademici a pagamento è tanto diffuso quanto è raro che siano oggetto di peer review.
Ciascuno degli indicatori bibliometrici ha distorsioni, l’ANVUR ne tiene conto. Gregory invece fa critiche sbagliate al numero di citazioni. E’ giusto considerare citazioni le “stroncature”, perché un lavoro è utile se contestato, è inutile se nessuno vi si confronta. Quanto al ricercatore tanto specialistico da non essere citato, o indaga il sesso degli angeli oppure è un genio incompreso. In questo caso la mancanza di citazioni è solo il sintomo dell’errore della comunità scientifica, possibilità inevitabile e con più sostanziali conseguenze. L’unico rimedio possibile è il giudizio informato, che qui manca a Gregory.
Problemi veri
Il problema di ISI o Scopus è che rappresentano male discipline umanistiche e pubblicazioni in italiano. L’ANVUR risponde al problema con criteri speciali, dichiaratamente temporanei e da rivedere. Galli della Loggia li critica sul Corriere (17/7/2011) perché anch’essi penalizzano la lingua italiana, ma qualche motivo c’è. La ricerca ha più valore quanto più ampia è la comunità che la può conoscere, utilizzare e vagliare; questo spesso penalizza l’italiano. Dove non è così, rimane il problema centrale, che tutti conoscono e Gregory tace: le pubblicazioni italiane raramente sono oggetto di peer review. L’ANVUR prende atto e tiene in conto.
Conclusione
Le proposte dell’ANVUR meritano discussione, Gregory non contribuisce e fa osservazioni mal poste. Non solo Gregory: spesso nell’università le proposte dell’ANVUR sono rifiutate in modo affrettato, mentre si tacciono carenze nella valutazione delle pubblicazioni e dunque della ricerca.
Questo diffuso atteggiamento fa somigliare l’università a una corporazione di baroni, che rivendicano denaro pubblico e insieme esclusività di giudizio su come lo usano. Giusto, il lavoro di chi fa ricerca può essere valutato solo dal collega, ma qui si va oltre. Rifiutare pregiudizialmente i criteri bibliometrici, mentre tacitamente si marginalizza la peer review, assomiglia a rivendicare la valutazione del proprio lavoro al proprio club, ad esclusione anche dei pari. Insomma, ogni gallo è geloso del suo pollaio.
Nel Corriere del 10 settembre 2011, proprio sotto Gregory a pagina 58, Galli della Loggia stigmatizzava chi si trincera “in ben muniti fortini corporativi” per sfruttare “rendite di posizione”. Alzi gli occhi, per esempio.