Scienze

Alcuni studi scientifici non sono riproducibili: è un problema, ma anche un'occasione per migliorare

Un team di ricercatori prova a riprodurre alcuni studi pubblicati sulle più autorevoli testate e i risultati non sono entusiasmanti. Eppure, per il mondo scientifico, questa potrebbe essere una grande opportunità.

Quanto sono affidabili gli studi scientifici? La domanda non è banale né del tutto nuova: il dibattito sulla riproducibilità delle ricerche, e quindi sulla loro effettiva validità, è al centro della disputa scientifica da alcuni anni.

A gettare benzina sul fuoco è una recente analisi condotta presso il California Institute of Technology che coinvolge alcuni lavori pubblicati su Nature e Science, probabilmente le due testate scientifiche più blasonate al mondo.

La revisione dei pari non basta. I ricercatori del CalTech hanno preso in esame 21 paper sulle scienze sociali pubblicati tra il 2010 e il 2015 sui due giornali e sottoposti al processo di peer review, cioè verificati prima della pubblicazione da altri scienziati ed esperti che ne hanno confermato la bontà.

Le conclusioni sono state pubblicate su Nature Human Behaviour e confermano i risultati ottenuti da analoghi lavori condotti in passato su decine di studi in ambito medico, economico e psicologico.

Il team californiano ha riprodotto le 21 ricerche con modalità assolutamente identiche a quelle impiegate negli studi originali, ma utilizzando campioni statistici 5 volte più grandi.

Metodo scientifico? Dei 21 studi solo 13, cioè il 62%, hanno più o meno confermato le conclusioni degli studi originali: in molti casi la maggior ampiezza del campione utilizzato ha infatti notevolmente indebolito (fino al 50%) i risultati pubblicati dai relativi precedenti studi pubblicati sulle due riviste. Gli altri 8 studi, una volta riprodotti, hanno portato a conclusioni completamente diverse rispetto a quelle delle ricerche originali.

Ma è davvero un problema? Probabilmente no: l'impossibilità di riprodurre uno studio non significa necessariamente che quello originale fosse sbagliato. Potrebbe per esempio esserci qualche differenza nel contesto sociale o culturale nel quale sono state condotte le due versioni della ricerca. È comunque innegabile che i risultati ottenuti dalla CalTech aprano lo spiraglio a numerosi dubbi e riducano l'affidabilità di questi studi.


L'occhio dello scienziato. Ciò che forse sorprende di più è però scoprire che questi risultati non sono stati affatto una sorpresa per la comunità scientifica: una serie di interviste condotte parallelamente allo studio ha infatti rivelato come ricercatori ed esperti della materia fossero perfettamente in grado di prevedere quali studi sarebbero stati replicabili e quali no.


Sembra insomma che gli scienziati abbiano sufficiente conoscenza e capacità di discernimento per interpretare correttamente ciò che leggono sulle riviste.

Una nuova scienza. Lo studio californiano evidenzia comunque l'esistenza di ampi margini di miglioramento nel mondo della ricerca: per esempio nella progettazione degli esperimenti, o nei criteri utilizzati per valutare la loro significatività. Detto con altre parole significa cambiare il modo di fare scienza.

Alcuni ricercatori suggeriscono di modificare in maniera più stringente i parametri statistici utilizzati per valutare la significatività delle conclusioni alle quali giungono gli studi.

Altri, per evitare la tentazione di opportunistiche "sviste", propongono l'obbligo, per gli scienziati, di comunicare in anticipo l'intenzione di pubblicare i loro lavori, i parametri e i metodi sperimentali che si intendono usare: questo impedirebbe di scartare gli esperimenti che conducono a risultati non in linea con le aspettative.

«Non direi che ci troviamo di fronte a una crisi» spiega al Guardian Brian Nosek, direttore del Center for Open Science, «quanto piuttosto a una trasformazione. Dobbiamo diventare più rigorosi e trasparenti in tutto ciò che riguarda la ricerca nelle scienze sociali».

30 agosto 2018 Rebecca Mantovani
Ora in Edicola
Scopri il mondo Focus. Ogni mese in edicola potrai scegliere la rivista che più di appassiona. Focus il magazine di divulgazione scientifica più letto in Italia, Focus Storia per conoscere la storia in modo nuovo ed avvincente e Focus Domande & Risposte per chi ama l'intrattenimento curioso e intelligente.

Tre colpi, una manciata di secondi e JFK, il presidente americano più carismatico e popolare disempre finiva di vivere. A 60 anni di distanza, restano ancora senza risposta molte domande sudinamica, movente e mandanti del brutale assassinio. Su questo numero, la cronaca di cosa accadde quel 22 novembre 1963 a Dallas e la ricostruzione delle indagini che seguirono. E ancora: nei campi di concentramento italiani, incubo di ebrei e dissidenti; la vita scandalosa di Colette, la scrittrice più amata di Francia; quello che resta della Roma medievale.

ABBONATI A 29,90€

La caduta di un asteroide 66 milioni di anni fa cambiò per sempre gli equilibri della Terra. Ecco le ultime scoperte che sono iniziate in Italia... E ancora: a che cosa ci serve ridere; come fanno a essere indistruttibili i congegni che "raccontano" gli incidenti aerei; come sarebbe la nostra società se anche noi andassimo in letargo nei periodi freddi; tutti i segreti del fegato, l'organo che lavora in silenzio nel nostro corpo è una sofisticata fabbrica chimica.

ABBONATI A 31,90€
Follow us