Fare di più non significa fare meglio, nemmeno nella ricerca

Di Sara Boggio

Perché numeri, percentuali, statistiche tendono a prevalere sulle valutazioni di merito? In che modo l’approccio quantitativo ha progressivamente messo da parte l’approccio qualitativo? La risposta a queste domande non è così scontata, nemmeno in riferimento all’ambito della ricerca scientifica, nel quale il dato numerico ha ovvia, fondamentale, importanza. Un articolo di Nature scritto da Alex Csiszar, professore associato di storia della scienza ad Harvard, propone una riflessione sul tema a partire da un aspetto del sapere scientifico che, tendenzialmente ignorato, è invece cruciale mettere in luce: l’influenza dei parametri di catalogazione e ricerca sull’oggetto della ricerca, e cioè sul sapere stesso (vedi).

La premessa fa eco a ciò che Marshall McLuhan (1911-1980) – una delle voci più influenti del secolo scorso nell’analisi della comunicazione massmediatica – diceva a proposito dei mezzi di comunicazione di massa e, in generale, di ogni medium deputato a veicolare un messaggio: il mezzo non è mai neutro. Incide sia sul contenuto e sulla percezione che ne ha il destinatario.

“La storia – scrive Csiszar – ci ricorda che le tecnologie di ricerca e i parametri di valutazione non sono strumenti neutri, che si limitano a velocizzare le nostre esigenze di individuare e valutare i lavori scientifici”. Questi strumenti cambiano il modo in cui viene comunicato il contenuto e stabiliscono quali sono i temi di maggiore interesse, ai quali sarà rivolta maggiore attenzione. Il cambio di paradigma (e di habitus mentale) su cui l’autore in particolare si sofferma, facendo riferimento alle pubblicazioni scientifiche, è proprio il passaggio dalla valutazione sulla base della qualità alla valutazione sulla base della quantità.

Il percorso viene fatto risalire alla prima metà dell’Ottocento, quando il matematico inglese Charles Babbage (1791-1871), “frustrato dallo scarso riconoscimento attribuito alla scienza in Inghilterra”, per valutare il prestigio degli autori propone di fare riferimento al numero delle pubblicazioni accademiche. Il suggerimento suscita pareri sia favorevoli che contrari. Tra questi ultimi, il rilievo (elementare?) secondo cui l’importanza del contenuto – l’effettivo valore scientifico di uno scritto – sarebbe criterio di giudizio “molto più soddisfacente”. Allora, la reputazione di un uomo di scienza non si basava sugli scritti pubblicati dalle riviste ma su “libri e altre dimostrazioni di genio che provassero la piena padronanza di un argomento”. Specifica l’autore che lo stesso Babbage non ha una grande stima per le riviste scientifiche, e limita infatti la sua proposta di conteggio agli articoli pubblicati da «Philosophical Transactions» (la più antica e prestigiosa rivista scientifica pubblicata dalla Royal Society di Londra a partire dal 1665: vedi).

I primi lavori di raccolta e catalogazione organica delle pubblicazioni scientifiche risalgono alla seconda metà dell’Ottocento (anche su sollecitazione statunitense, nella fattispecie da parte della US Coast and Geodetic Survey – oggi National Geodetic Survey – per la quale avere traccia delle pubblicazioni delle società scientifiche europee sarebbe stato di indubbia utilità). A intraprendere l’impresa è appunto la Royal Society che, nonostante le previsioni di dissesto finanziario nel caso in cui si fosse dedicata al progetto, inizia effettivamente a compilare una lista di tutti gli articoli di ricerca scientifica originale pubblicati a partire dall’anno 1800. La motivazione principale, però, non è tanto il vaglio della preminenza scientifica degli autori quanto il fatto che le pubblicazioni periodiche siano “nel caos”: nel 1867, quando i catalogatori della Royal Society si mettono al lavoro iniziando lo spoglio che darà origine al Catalogue of Scientific Papers (vedi), devono ammettere che la situazione è molto peggiore di quanto immaginassero: “in migliaia di articoli, non era nemmeno indicato il nome dell’autore”.

Ordinare, per la prima volta, tutto questo materiale si configura quindi come un compito necessario, oltre che servizio a beneficio delle future pratiche di pubblicazione e generazioni di scienziati. Come ogni impresa che segna cambiamenti importanti, tuttavia, le conseguenze a lungo termine non appaiono con chiarezza fin dall’inizio. Il Catalogue of Scientific Papers, rileva Csiszar, “sembra fatto apposta per tenere i punti. In una dettagliata recensione del catalogo, pubblicata su un giornale viennese, il geologo Wilhelm von Haidinger [1795-1861] fa un appello alla prudenza, sottolineando che la mera comparazione numerica [delle pubblicazioni] non può essere una base su cui stabilire giudizi di valore”. Pur ammettendo anche lui che “i numeri sono in qualche modo irresistibili”.

L’entusiasmo per il dato numerico ha delle conseguenze pratiche già a breve termine. Nell’arco di un decennio, le candidature per l’ammissione alla Royal Society si trasformano in lunghi elenchi di articoli. Secondo Csiszar, c’è un filo diretto tra gli sviluppi tardo-ottocenteschi del metodo di catalogazione e le preoccupazioni del secolo successivo sullo stato di confusione dell’editoria scientifica. Negli anni ’30 del Novecento, negli Stati Uniti, inizia non a caso a circolare l’espressione ‘publish or perish’, significativamente diffusa ancora oggi, a indicare l’esito di una misurazione di merito “limitata e burocratica”, per di più cristallizzatasi in dictat (per la carriera scientifica come per quella accademica).

Negli anni sessanta, racconta ancora l’autore, lo scienziato e bibliografo statunitense Eugene Garfield (nato nel 1925 e scomparso a febbraio di quest’anno) elabora un nuovo strumento di ricerca proprio con l’intento di limitare le derive di una valutazione esclusivamente quantitativa delle pubblicazioni: il Science Citation Index (vedi), con il quale si rileva che alcuni articoli sono più citati rispetto ad altri (e quindi, in teoria, di maggior valore).

Oggi, solcate anche la rivoluzione informatica e digitale, lo strumento di ricerca sono gli algoritmi. Secondo alcuni, l’algoritmo è attualmente il mezzo che imita più da vicino i meccanismi di giudizio dell’essere umano, peraltro superandolo, se si pensa che può aggregare moli di dati ricavati da forum e piattaforme online.

Ma come la breve sintesi del percorso storico delineata da Csiszar sottolinea con insistenza, al di là dell’evoluzione dei mezzi e delle tecnologie, le questioni di base sono sempre le stesse: quanto siamo consapevoli del modo in cui queste influenzano il nostro modo di pensare? A quali idee attribuiamo valore e come le tuteliamo? Come distinguere una buona scienza da una scienza mediocre? “In un momento storico in cui la percezione pubblica del sapere scientifico sta diventando sempre più incerta – conclude l’autore – queste domande sono più importanti che mai”.