Scienze

Alcuni studi scientifici non sono riproducibili: è un problema, ma anche un'occasione per migliorare

Un team di ricercatori prova a riprodurre alcuni studi pubblicati sulle più autorevoli testate e i risultati non sono entusiasmanti. Eppure, per il mondo scientifico, questa potrebbe essere una grande opportunità.

Quanto sono affidabili gli studi scientifici? La domanda non è banale né del tutto nuova: il dibattito sulla riproducibilità delle ricerche, e quindi sulla loro effettiva validità, è al centro della disputa scientifica da alcuni anni.

A gettare benzina sul fuoco è una recente analisi condotta presso il California Institute of Technology che coinvolge alcuni lavori pubblicati su Nature e Science, probabilmente le due testate scientifiche più blasonate al mondo.

La revisione dei pari non basta. I ricercatori del CalTech hanno preso in esame 21 paper sulle scienze sociali pubblicati tra il 2010 e il 2015 sui due giornali e sottoposti al processo di peer review, cioè verificati prima della pubblicazione da altri scienziati ed esperti che ne hanno confermato la bontà.

Le conclusioni sono state pubblicate su Nature Human Behaviour e confermano i risultati ottenuti da analoghi lavori condotti in passato su decine di studi in ambito medico, economico e psicologico.

Il team californiano ha riprodotto le 21 ricerche con modalità assolutamente identiche a quelle impiegate negli studi originali, ma utilizzando campioni statistici 5 volte più grandi.

Metodo scientifico? Dei 21 studi solo 13, cioè il 62%, hanno più o meno confermato le conclusioni degli studi originali: in molti casi la maggior ampiezza del campione utilizzato ha infatti notevolmente indebolito (fino al 50%) i risultati pubblicati dai relativi precedenti studi pubblicati sulle due riviste. Gli altri 8 studi, una volta riprodotti, hanno portato a conclusioni completamente diverse rispetto a quelle delle ricerche originali.

Ma è davvero un problema? Probabilmente no: l'impossibilità di riprodurre uno studio non significa necessariamente che quello originale fosse sbagliato. Potrebbe per esempio esserci qualche differenza nel contesto sociale o culturale nel quale sono state condotte le due versioni della ricerca. È comunque innegabile che i risultati ottenuti dalla CalTech aprano lo spiraglio a numerosi dubbi e riducano l'affidabilità di questi studi.


L'occhio dello scienziato. Ciò che forse sorprende di più è però scoprire che questi risultati non sono stati affatto una sorpresa per la comunità scientifica: una serie di interviste condotte parallelamente allo studio ha infatti rivelato come ricercatori ed esperti della materia fossero perfettamente in grado di prevedere quali studi sarebbero stati replicabili e quali no.


Sembra insomma che gli scienziati abbiano sufficiente conoscenza e capacità di discernimento per interpretare correttamente ciò che leggono sulle riviste.

Una nuova scienza. Lo studio californiano evidenzia comunque l'esistenza di ampi margini di miglioramento nel mondo della ricerca: per esempio nella progettazione degli esperimenti, o nei criteri utilizzati per valutare la loro significatività. Detto con altre parole significa cambiare il modo di fare scienza.

Alcuni ricercatori suggeriscono di modificare in maniera più stringente i parametri statistici utilizzati per valutare la significatività delle conclusioni alle quali giungono gli studi.

Altri, per evitare la tentazione di opportunistiche "sviste", propongono l'obbligo, per gli scienziati, di comunicare in anticipo l'intenzione di pubblicare i loro lavori, i parametri e i metodi sperimentali che si intendono usare: questo impedirebbe di scartare gli esperimenti che conducono a risultati non in linea con le aspettative.

«Non direi che ci troviamo di fronte a una crisi» spiega al Guardian Brian Nosek, direttore del Center for Open Science, «quanto piuttosto a una trasformazione. Dobbiamo diventare più rigorosi e trasparenti in tutto ciò che riguarda la ricerca nelle scienze sociali».

30 agosto 2018 Rebecca Mantovani
Ora in Edicola
Scopri il mondo Focus. Ogni mese in edicola potrai scegliere la rivista che più di appassiona. Focus il magazine di divulgazione scientifica più letto in Italia, Focus Storia per conoscere la storia in modo nuovo ed avvincente e Focus Domande & Risposte per chi ama l'intrattenimento curioso e intelligente.

Sulle orme di Marco Polo, il nostro viaggiatore più illustre che 700 anni fa dedicò un terzo della sua vita all’esplorazione e alla conoscenza dell’Oriente, in un’esperienza straordinaria che poi condivise con tutto il mondo attraverso "Il Milione". E ancora: un film da Oscar ci fa riscoprire la figura di Rudolf Höss, il comandante di Auschwitz che viveva tranquillo e felice con la sua famiglia proprio accanto al muro del Lager; le legge e le norme che nei secoli hanno vessato le donne; 100 anni fa nasceva Franco Basaglia, lo psichiatra che "liberò" i malati rinchiusi nei manicomi.

ABBONATI A 29,90€

Che cosa c’era "prima"? Il Big Bang è stato sempre considerato l’inizio dell’universo, ma ora si ritiene che il "nulla" precedente fosse un vuoto in veloce espansione. Inoltre, come si evacua un aereo in caso di emergenza? Il training necessario e gli accorgimenti tecnici; che effetto fa alla psiche il cambiamento climatico? Genera ansia ai giovani; esiste la distinzione tra sesso e genere tra gli animali? In alcune specie sì. Con quali tecniche un edificio può resistere a scosse devastanti? Siamo andati nei laboratori a prova di terremoti.

 

ABBONATI A 31,90€
Follow us