Metodi più rigorosi non possono compensare teorie mediocri

di Maria Rosa De Marchi 

Appoggiandosi su teorie fondate, molti dei problemi di riproducibilità degli studi scomparirebbero. Di questo si occupa un editoriale di Nature pubblicato pochissimi giorni fa.

Come migliorare la replicabilità negli esperimenti scientifici? Con dati, programmi e algoritmi open source, ma non serve solo che gli esperimenti siano riproducibili: serve anche e soprattutto che i risultati ottenuti abbiano un impatto concreto sulla ricerca. Il problema della riproducibilità – sostiene l’editoriale di Nature – va affrontato alla fonte: bisogna puntare a ipotesi “robuste” che valgano la pena di essere dimostrate e sulla disponibilità di sistemi di misurazione che siano abbastanza precisi per poter trarre le dovute conclusioni.

Ipotesi robuste e metodi di misurazione precisi

Le ipotesi “robuste” hanno due caratteristiche fondamentali: per prima cosa, con queste si possono costruire dei modelli matematici per verificarle in modo chiaro. Non è difficile fare alcuni esempi: l’epidemiologia può contare su modelli che predicono la diffusione di una malattia, le neuroscienze possono contare su reti neurali per comprendere meglio la trasmissione delle informazioni nel cervello.

Infine, le teorie devono avere senso nel contesto. Un esempio significativo di questo fu quando il CERN “scoprì” particelle in grado di superare la velocità della luce e che quindi violavano la relatività ristretta, ma nella necessità di far quadrare questo dato con un quadro di teorie più ampio e articolato, ulteriori verifiche portarono a scoprire che i dati provenivano da un difetto dell’equipaggiamento tecnico dell’esperimento.

Ai buoni modelli, secondo Nature, ci si arriva passando da sistemi di misurazione precisi e avanzati. Se non è possibile misurare in modo preciso qualcosa, è difficile costruirvi attorno una buona teoria. Per alcuni rami della scienza questo è facile, per altri questo pone serie difficoltà, che interferiscono inevitabilmente con la riproducibilità di un esperimento, soprattutto nel campo della psicologia e delle scienze sociali.

Riproducibilità: un dibattito che prosegue da anni

Nature si era già occupata del problema della riproducibilità e il dibattito prosegue da diversi anni. Nel 2016, il 70% di scienziati coinvolti in un sondaggio da Nature (su un totale di 1.576) riferiva di aver incontrato problemi nel tentare di riprodurre in laboratorio risultati ottenuti da altri. I feedback degli studiosi in quella occasione sono stati estremamente contraddittori: Il 52% degli intervistati concordava sul fatto che fosse in atto una vera e propria “crisi di riproducibilità”, ma meno del 31% sosteneva che i fallimenti nel replicare i risultati degli esperimenti potessero dipendere dall’esito e che le conclusioni tratte potevano essere errate. La maggior parte degli intervistati asseriva di fidarsi comunque dei lavori presenti in letteratura.

Le possibili ricadute sul pubblico

Il problema dell’autorevolezza della ricerca non riguarda solo gli addetti ai lavori, ma ricade a cascata anche sul pubblico, anche se per motivi diversi. Se ne era occupato recentemente un articolo dell’American Journal of Medicine. Per evitare potenziali danni gravissimi causati dalla sfiducia nella ricerca medica è necessario garantire trasparenza, integrità e rigore, oltre alla già dibattuta riproducibilità, puntando a sensibilizzare un pubblico non abituato a distinguere aneddoti da notizie con rilevanza scientifica, accompagnandoli per mano, aiutandoli, con linguaggio semplice, a districarsi tra false notizie e allarmismi da social network.