Scienze

Alcuni studi scientifici non sono riproducibili: è un problema, ma anche un'occasione per migliorare

Un team di ricercatori prova a riprodurre alcuni studi pubblicati sulle più autorevoli testate e i risultati non sono entusiasmanti. Eppure, per il mondo scientifico, questa potrebbe essere una grande opportunità.

Quanto sono affidabili gli studi scientifici? La domanda non è banale né del tutto nuova: il dibattito sulla riproducibilità delle ricerche, e quindi sulla loro effettiva validità, è al centro della disputa scientifica da alcuni anni.

A gettare benzina sul fuoco è una recente analisi condotta presso il California Institute of Technology che coinvolge alcuni lavori pubblicati su Nature e Science, probabilmente le due testate scientifiche più blasonate al mondo.

La revisione dei pari non basta. I ricercatori del CalTech hanno preso in esame 21 paper sulle scienze sociali pubblicati tra il 2010 e il 2015 sui due giornali e sottoposti al processo di peer review, cioè verificati prima della pubblicazione da altri scienziati ed esperti che ne hanno confermato la bontà.

Le conclusioni sono state pubblicate su Nature Human Behaviour e confermano i risultati ottenuti da analoghi lavori condotti in passato su decine di studi in ambito medico, economico e psicologico.

Il team californiano ha riprodotto le 21 ricerche con modalità assolutamente identiche a quelle impiegate negli studi originali, ma utilizzando campioni statistici 5 volte più grandi.

Metodo scientifico? Dei 21 studi solo 13, cioè il 62%, hanno più o meno confermato le conclusioni degli studi originali: in molti casi la maggior ampiezza del campione utilizzato ha infatti notevolmente indebolito (fino al 50%) i risultati pubblicati dai relativi precedenti studi pubblicati sulle due riviste. Gli altri 8 studi, una volta riprodotti, hanno portato a conclusioni completamente diverse rispetto a quelle delle ricerche originali.

Ma è davvero un problema? Probabilmente no: l'impossibilità di riprodurre uno studio non significa necessariamente che quello originale fosse sbagliato. Potrebbe per esempio esserci qualche differenza nel contesto sociale o culturale nel quale sono state condotte le due versioni della ricerca. È comunque innegabile che i risultati ottenuti dalla CalTech aprano lo spiraglio a numerosi dubbi e riducano l'affidabilità di questi studi.


L'occhio dello scienziato. Ciò che forse sorprende di più è però scoprire che questi risultati non sono stati affatto una sorpresa per la comunità scientifica: una serie di interviste condotte parallelamente allo studio ha infatti rivelato come ricercatori ed esperti della materia fossero perfettamente in grado di prevedere quali studi sarebbero stati replicabili e quali no.


Sembra insomma che gli scienziati abbiano sufficiente conoscenza e capacità di discernimento per interpretare correttamente ciò che leggono sulle riviste.

Una nuova scienza. Lo studio californiano evidenzia comunque l'esistenza di ampi margini di miglioramento nel mondo della ricerca: per esempio nella progettazione degli esperimenti, o nei criteri utilizzati per valutare la loro significatività. Detto con altre parole significa cambiare il modo di fare scienza.

Alcuni ricercatori suggeriscono di modificare in maniera più stringente i parametri statistici utilizzati per valutare la significatività delle conclusioni alle quali giungono gli studi.

Altri, per evitare la tentazione di opportunistiche "sviste", propongono l'obbligo, per gli scienziati, di comunicare in anticipo l'intenzione di pubblicare i loro lavori, i parametri e i metodi sperimentali che si intendono usare: questo impedirebbe di scartare gli esperimenti che conducono a risultati non in linea con le aspettative.

«Non direi che ci troviamo di fronte a una crisi» spiega al Guardian Brian Nosek, direttore del Center for Open Science, «quanto piuttosto a una trasformazione. Dobbiamo diventare più rigorosi e trasparenti in tutto ciò che riguarda la ricerca nelle scienze sociali».

30 agosto 2018 Rebecca Mantovani
Ora in Edicola
Scopri il mondo Focus. Ogni mese in edicola potrai scegliere la rivista che più di appassiona. Focus il magazine di divulgazione scientifica più letto in Italia, Focus Storia per conoscere la storia in modo nuovo ed avvincente e Focus Domande & Risposte per chi ama l'intrattenimento curioso e intelligente.

Cent'anni fa, la scoperta del secolo: la tomba di Tutankhamon – l'unica ritrovata intatta nella Valle dei Re - svelò i suoi tesori riempendo di meraviglia gli occhi di Howard Carter prima, del mondo intero poi. Alle sepolture più spettacolari di ogni epoca è dedicato il primo piano di Focus Storia. E ancora: la guerra di Rachel Carson, la scienziata-scrittrice pioniera dell'ambientalismo; i ragazzi italiani assoldati nella Legione Straniera e mandati a morire in Indocina; Luigi Ferri, uno dei pochi bambini sopravvissuti ad Auschwitz, dopo lunghi anni di silenzio, si racconta.

ABBONATI A 29,90€

L'amore ha una scadenza? La scienza indaga: l’innamoramento può proseguire per tre anni. Ma la fase successiva (se ci si arriva) può continuare anche tutta la vita. E l'AI può dirci quanto. E ancora, Covid: siamo nel passaggio dalla fase di pandemia a quella endemica; le storie geologiche delle nostre spiagge; i nuovi progetti per proteggere le aree marine; tutti i numeri dei ghiacciai del mondo che stanno fondendo.

ABBONATI A 31,90€
Follow us