Detective dei dati: le verifiche statistiche scuotono l’editoria scientifica

di Luca Mario Nejrotti

Il problema dei trials clinici inaffidabili inficia l’autorevolezza della letteratura scientifica e richiede quindi un monitoraggio costante.

Errori e truffe.

L’occasione di riparlare dei problemi dell’editoria scientifica (vedi e vedi) ci viene data da un articolo su “Nature” (vedi) che testimonia di centinaia di studi scientifici che presentano problemi metodologici alla verifica.

In particolare, l’articolo racconta come l’applicazione di analisi statistiche ai dati presentati in studi sospetti permetta di individuare ricorrenze improbabili o impossibili.

Il metodo è stato adottato, in particolare, da un anestesista inglese, John Carlisle, che è stato in grado di mettere in discussione centinaia di articoli, portando alla ritrattazione moltissimi autori per errori o truffe, e addirittura contribuendo a causare il licenziamento dei mistificatori più smaccati.

Può sembrare puntigliosità, volere mettere in discussione articoli pubblicati da rinomate riviste scientifiche, ma bisogna ricordare che dai dati pubblicati possono dipendere la salute e il benessere dei pazienti.

Metodo.

L’essenza dell’approccio di Carlisle non è una novità: poiché, semplicemente, i dati della vita reale hanno schemi naturali che i dati artificiali fanno fatica a replicare, è quindi possibile identificare le discrepanze nei modelli statistici. Tali modelli sono stati usati da molti controllori statistici. Gli scienziati politici, ad esempio, hanno utilizzato a lungo un approccio simile per analizzare i dati dell’indagine – una tecnica che chiamano il metodo di Stouffer dal sociologo Samuel Stouffer (vedi), che lo rese popolare negli anni ’50.

Nel nostro caso, Carlisle esamina le misure di base che descrivono le caratteristiche dei gruppi di volontari nello studio, in genere il gruppo di controllo e il gruppo di intervento. Questi includono altezza, peso e relative caratteristiche fisiologiche – di solito descritte nella prima tabella di un documento.

In un trial genuino, i volontari sono assegnati casualmente al gruppo di controllo o a uno o più gruppi di intervento. Di conseguenza, la media e la deviazione standard per ciascuna caratteristica dovrebbero essere più o meno le stesse, ma non troppo identiche: altrimenti sarebbe sospettosamente perfetto.

Critiche.

Il metodo non è infallibile. I controlli statistici richiedono che le variabili nella tabella siano veramente indipendenti, mentre in realtà spesso non lo sono (altezza e peso sono collegati, ad esempio). In pratica, ciò significa che alcuni articoli contrassegnati come errati in realtà non lo sono – e per questo motivo, alcuni statistici hanno criticato il lavoro di Carlisle. Quest’ultimo, però, afferma che applicare il suo metodo è un buon primo passo e può evidenziare studi che potrebbero meritare uno sguardo più attento.

Sulla scia di Carlisle sono molti i ricercatori a proporre metodi di data-check per le riviste scientifiche, che spesso adottano sistemi di verifica statistica per vagliare i propri articoli.

La mole di imprecisioni individuata, quando non frodi, mostra comunque la grande necessità di una vigilanza continua.

Fonti.

https://www.nature.com/articles/d41586-019-02241-z?utm_source=Nature+Briefing&utm_campaign=2fabe86eff-briefing-dy-20190723&utm_medium=email&utm_term=0_c9dfd39373-2fabe86eff-43594593