Scienze

Alcuni studi scientifici non sono riproducibili: è un problema, ma anche un'occasione per migliorare

Un team di ricercatori prova a riprodurre alcuni studi pubblicati sulle più autorevoli testate e i risultati non sono entusiasmanti. Eppure, per il mondo scientifico, questa potrebbe essere una grande opportunità.

Quanto sono affidabili gli studi scientifici? La domanda non è banale né del tutto nuova: il dibattito sulla riproducibilità delle ricerche, e quindi sulla loro effettiva validità, è al centro della disputa scientifica da alcuni anni.

A gettare benzina sul fuoco è una recente analisi condotta presso il California Institute of Technology che coinvolge alcuni lavori pubblicati su Nature e Science, probabilmente le due testate scientifiche più blasonate al mondo.

La revisione dei pari non basta. I ricercatori del CalTech hanno preso in esame 21 paper sulle scienze sociali pubblicati tra il 2010 e il 2015 sui due giornali e sottoposti al processo di peer review, cioè verificati prima della pubblicazione da altri scienziati ed esperti che ne hanno confermato la bontà.

Le conclusioni sono state pubblicate su Nature Human Behaviour e confermano i risultati ottenuti da analoghi lavori condotti in passato su decine di studi in ambito medico, economico e psicologico.

Il team californiano ha riprodotto le 21 ricerche con modalità assolutamente identiche a quelle impiegate negli studi originali, ma utilizzando campioni statistici 5 volte più grandi.

Metodo scientifico? Dei 21 studi solo 13, cioè il 62%, hanno più o meno confermato le conclusioni degli studi originali: in molti casi la maggior ampiezza del campione utilizzato ha infatti notevolmente indebolito (fino al 50%) i risultati pubblicati dai relativi precedenti studi pubblicati sulle due riviste. Gli altri 8 studi, una volta riprodotti, hanno portato a conclusioni completamente diverse rispetto a quelle delle ricerche originali.

Ma è davvero un problema? Probabilmente no: l'impossibilità di riprodurre uno studio non significa necessariamente che quello originale fosse sbagliato. Potrebbe per esempio esserci qualche differenza nel contesto sociale o culturale nel quale sono state condotte le due versioni della ricerca. È comunque innegabile che i risultati ottenuti dalla CalTech aprano lo spiraglio a numerosi dubbi e riducano l'affidabilità di questi studi.


L'occhio dello scienziato. Ciò che forse sorprende di più è però scoprire che questi risultati non sono stati affatto una sorpresa per la comunità scientifica: una serie di interviste condotte parallelamente allo studio ha infatti rivelato come ricercatori ed esperti della materia fossero perfettamente in grado di prevedere quali studi sarebbero stati replicabili e quali no.


Sembra insomma che gli scienziati abbiano sufficiente conoscenza e capacità di discernimento per interpretare correttamente ciò che leggono sulle riviste.

Una nuova scienza. Lo studio californiano evidenzia comunque l'esistenza di ampi margini di miglioramento nel mondo della ricerca: per esempio nella progettazione degli esperimenti, o nei criteri utilizzati per valutare la loro significatività. Detto con altre parole significa cambiare il modo di fare scienza.

Alcuni ricercatori suggeriscono di modificare in maniera più stringente i parametri statistici utilizzati per valutare la significatività delle conclusioni alle quali giungono gli studi.

Altri, per evitare la tentazione di opportunistiche "sviste", propongono l'obbligo, per gli scienziati, di comunicare in anticipo l'intenzione di pubblicare i loro lavori, i parametri e i metodi sperimentali che si intendono usare: questo impedirebbe di scartare gli esperimenti che conducono a risultati non in linea con le aspettative.

«Non direi che ci troviamo di fronte a una crisi» spiega al Guardian Brian Nosek, direttore del Center for Open Science, «quanto piuttosto a una trasformazione. Dobbiamo diventare più rigorosi e trasparenti in tutto ciò che riguarda la ricerca nelle scienze sociali».

30 agosto 2018 Rebecca Mantovani
Ora in Edicola
Scopri il mondo Focus. Ogni mese in edicola potrai scegliere la rivista che più di appassiona. Focus il magazine di divulgazione scientifica più letto in Italia, Focus Storia per conoscere la storia in modo nuovo ed avvincente e Focus Domande & Risposte per chi ama l'intrattenimento curioso e intelligente.

In questo numero di Focus Storia vi portiamo alla scoperta di figure storiche, battaglie e curiosità che hanno segnato epoche e paesi, con un’attenzione speciale alla Francia del Seicento.

Il protagonista principale è il cardinale Richelieu, l’abile politico che plasmò la Francia moderna. In "Eminenza rossa" tracciamo il ritratto di questo potente uomo di Stato, mentre "L’assedio del Gran Cardinale" ci racconta la sua vittoria contro gli ugonotti a La Rochelle. A seguire, con "Eminenza grigia" scopriamo la figura di padre Giuseppe, il suo fidato consigliere, e in "Mazzarino l’erede" esploriamo il ruolo del cardinale italiano che ne continuò l’opera.

Tra le altre storie: l’articolo "Infanzia randagia" ci porta nella Russia degli anni ‘20 e ‘30, con il fenomeno dei besprizornye, bambini abbandonati nelle città. Non mancano approfondimenti come "Delitti al microscopio", che esplora la nascita delle indagini scientifiche, e "Il canto libero", dedicato alle origini del jazz.

ABBONATI A 29,90€

In questo numero di Focus, esploriamo un affascinante mix di scienza, natura e curiosità quotidiane.

Dedichiamo uno speciale alle strategie di leadership, scoprendo cosa dicono le ricerche sui capi e come gestiscono i loro team. Nell'articolo "Nella testa del boss" analizziamo il loro modo di pensare, mentre "E tu che capo hai?" ci svela i diversi tipi di leader.

Scopriamo storie di successo nella conservazione della fauna con "A volte ritornano", che racconta la rinascita di specie come linci e cervi. Per gli appassionati di scienza, analizziamo il ruolo delle impronte digitali nel corpo umano.

In più, l'astrofisica ci sorprende con teorie alternative sull’energia oscura nell'intervista "L’energia oscura? Secondo me non esiste". Non perdete i vincitori del Drone Photo Awards, con immagini spettacolari tra fantasia e tecnologia.

ABBONATI A 31,90€
Follow us