Dal peer-review al crowd-review?

Condividi sui Social

Di Sara Boggio

Nell’ambito delle pubblicazioni scientifiche, il sistema di peer-review (“revisione da parte dei pari”) si basa sul lavoro gratuito e volontario di esperti (i “pari” appunto, detti anche referees), che in forma anonima valutano la consistenza dello studio e decidono se abbia le caratteristiche necessarie per essere pubblicato.

In un bel libro dedicato alla frode scientifica (Cattivi Scienziati – add Editore, recensito anche su queste pagine), l’autore Enrico Bucci rileva a proposito del peer-review che “pubblicazioni e ricercatori, almeno fino agli anni Cinquanta del secolo scorso, erano in numero sufficientemente ridotto da consentire a un qualche esperto di rilievo di poter vagliare ogni scritto, in un tempo ragionevole e senza pressioni di sorta”. Ma che cosa succede, si chiede Bucci, quando soltanto negli Stati Uniti, e soltanto nelle discipline biomediche, i ricercatori pubblicano più di 250.000 lavori all’anno? Aggiungendosi al “carico già gravoso delle attività burocratiche, delle lezioni, della stesura di domande di finanziamento e infine della ricerca vera e propria”, è inevitabile che il lavoro di revisione da parte dei pari non possa essere sempre svolto al meglio, e che il sistema presenti qualche falla.

Un articolo di recente pubblicato su «Nature» si incunea esattamente qui (vedi). L’autore, Benjamin List, è caporedattore di Synlett, rivista specializzata in chimica organica e sintetica. “Quando funziona – scrive List – il peer-review è un metodo meraviglioso. Troppo spesso, però, è solo frustrante. Gli autori sono sulle spine perché in attesa di giudizi che possono cambiare la loro vita professionale. I referees devono affrontare una mole di lavoro immensa. E gli editori sono condannati a inseguirli con i reminder delle scadenze settimana dopo settimana”. Quando infine la revisione arriva, capita che a sua volta sia fitta di bias, oppure troppo sintetica, e quindi non utile a comprendere la reale portata e consistenza del lavoro.

Per tutti questi motivi List ha deciso di testare un sistema alternativo che, con una serie di cautele, sfrutti le potenzialità di interazione della rete.

Il sistema non è quello a cui talvolta ci si riferisce come crowdsourced reviewing, dove ciascuno può commentare, con il nome proprio in chiaro, un articolo in full-text aperto alla lettura. List definisce il metodo messo a punto come “intelligent crowd reviewing”. Si svolge all’interno di una piattaforma protetta, dove un gruppo selezionato di revisori esperti possono leggere e commentare, sempre in forma anonima, sia gli articoli da (eventualmente) pubblicare sia le revisioni degli altri referees del gruppo.

L’idea, discussa con i colleghi tedeschi della propria rivista e della Max Planck Society, è stata accolta con un certo scetticismo. Alcuni temevano un eccesso di partecipazione, con il rischio di abbassare la competenza media del gruppo (e magari di lasciarsi sfuggire l’unica opinione decisiva, da parte dell’esperto di maggiore competenza). Altri temevano uno sbilanciamento del sistema (un eccesso di “potere” ai referees), maggiori rischi di violazione della privacy, e infine l’inapplicabilità del modello a più ampia scala.

Per fugare i dubbi, si è deciso di testare il metodo mettendolo in pratica.

Sono stati selezionati 100 revisori, suggeriti in ampia parte dal board editoriale. Con l’aiuto di una start-up informatica è stato creato un forum online, accessibile ai soli revisori, e si è chiesto agli autori il permesso di valutare i loro lavori in questo modo (svolgendo, in parallelo, una revisione tradizionale).

La sperimentazione è iniziata poco più di un anno fa, a maggio dell’anno scorso. “Siamo rimasti impressionati dal numero di commenti ricevuti in pochi giorni”, scrive List. A gennaio di quest’anno, sulla piattaforma sono stati caricati due articoli e si è chiesto ai revisori di commentarli entro 72 ore. Ogni articolo ha ricevuto una dozzina di commenti che gli editori hanno ritenuto informativi.

Nel complesso il sistema del crowd-reviewing, finora testato su 10 articoli, si è dimostrato molto più veloce del peer-review (giorni anziché mesi) e ha fornito feedback più esaurienti. Gli editori, d’altro canto, hanno dovuto leggere più materiale (ma non eccessivamente, specifica List: la lettura di un “crowd report” equivale a quella di tre o quattro revisioni tradizionali). Per il momento l’equilibrio tra i revisori è buono (nessuno prevale sugli altri) e i dati confidenziali sono rimasti tali.

“Sembra che traggano più beneficio dall’interazione che dalla scrittura in solitaria”, conclude il caporedattore di Synlett, aggiungendo che la rivista sta riflettendo su una forma di riconoscimento per i referees, per mantenere alta la motivazione “una volta passata la novità”.

Che sia questa la strada per risolvere i problemi del peer-review sarebbe prematuro affermarlo, ma è di certo un passo avanti quanto meno per provarci.

Condividi, Stampa ed Invia ad un Amico
  • Facebook
  • Twitter
  • Google Bookmarks
  • Add to favorites
  • PDF