La domanda del titolo può sembrare retorica ma non lo è. Il problema della riproducibilità degli studi scientifici è diventato così serio che, nell’ottobre 2018, la rivista Nature pubblicò una raccolta di articoli dedicati alla riproducibilità irriproducibilità della ricerca: Challenges in irreproducible research articles collection.

Ad essere pignoli, è dal 2013 che la rivista è impegnata nel migliorare la consistenza e la qualità degli articoli scientifici in ambito Scienze della vita.

Già allora dichiarò di voler esaminare nel dettaglio le statistiche degli articoli presentati, incoraggiando gli autori alla trasparenza (per esempio includendo i loro dati grezzi).

From next month, Nature and the Nature research journals will introduce editorial measures to address the problem by improving the consistency and quality of reporting in life-sciences articles. To ease the interpretation and improve the reliability of published results we will more systematically ensure that key methodological details are reported, and we will give more space to methods sections. We will examine statistics more closely and encourage authors to be transparent, for example by including their raw data.”

NB: normalmente si sottomettono i dati già elaborati alle riviste scientifiche ed i dati grezzi non vengono richiesti.

Vademecum comune

Gli sforzi di questa battaglia ottennero un primo focus nel 2014, Journals unite for reproducibility, quando una serie di riviste scientifiche unirono gli sforzi per aumentare il controllo qualità nella ricerca biomedica e la fiducia pubblica nella ricerca stessa.

Le discussioni vertettero su cosa i giornali avessero già messo in opera per affrontare il problema della riproducibilità, quanto fosse estesa la problematica e quanto sarebbe costata una possibile soluzione; le conclusioni di questo dibattito furono fissate su una serie di principi e linee guida, una sorta di vademecum comune volto a promuovere trasparenza e riproducibilità.

The discussion ranged from what journals were already doing to address reproducibility — and the effectiveness of those measures — to the magnitude of the problem and the cost of solutions. The attendees agreed on a common set of Principles and Guidelines in Reporting Preclinical Research (see go.nature.com/ezjl1p) that list proposed journal policies and author reporting requirements in order to promote transparency and reproducibility.

Solo due anni dopo, Nature riuscì a dare una prima dimensione alla problematica.

Il sondaggio del 2016, scalpore e preoccuzione

I dati vennero fuori da un sondaggio del 2016 (sulla riproducibilità degli esperimenti scientifici pubblicati), condotto su 1576 scienziati, impegnati in vari settori di ricerca (chimica, biologia, fisica, ingegneria, medicina), in cui si chiese loro di ripetere i risultati di una pubblicazione.

L’esito preoccupa e fa scalpore, ma soprattutto conferma i timori espressi dalla rivista stessa.
Più del 70% dei ricercatori coinvolti nel sondaggio ha provato e fallito nel riprodurre un altro esperimento scientifico e circa la metà ha fallito nel riprodurre i propri esperimenti!

More than 70% of researchers have tried and failed to reproduce another scientist’s experiments, and more than half have failed to reproduce their own experiments.

Gli stessi intervistati rivelarono però un’attitudine controversa verso la riproducibilità: sebbene il 52% ammettesse l’esistenza di una significante crisi di riproducibilità, meno del 31% pensava che fallire nel riprodurre i risultati significasse che la conclusione fosse sbagliata e, ancora, la maggior parte sosteneva di fidarsi ancora della letteratura pubblicata.

The data reveal sometimes-contradictory attitudes towards reproducibility. Although 52% of those surveyed agree that there is a significant ‘crisis’ of reproducibility, less than 31% think that failure to reproduce published results means that the result is probably wrong, and most say that they still trust the published literature.

Possiamo ancora chiamare Scienza un siffatto approccio?
* * *

Importanza della riproducibilità

Perché è così critica ed importante la riproducibilità dei dati? Per quanto la domanda possa sembrare banale, riportiamo quanto enunciato in un altro articolo che lo espone in modo chiaro e… scientifico: la mancanza di riproducibilità nella ricerca scientifica ha un impatto negativo sulla salute, abbassa l’output scientifico, rallenta i progressi scientifici, spreca tempo e denaro ed erode la fiducia pubblica nella ricerca scientifica!

The lack of reproducibility in scientific research has negative impacts on health, lower scientific output efficiency, slower scientific progress, wasted time and money, and erodes the public’s trust in scientific research.

Though many of these problems are difficult to quantify, there have been attempts to calculate financial losses. A 2015 meta-analysis5 of past studies regarding the cost of non-reproducible research estimated that $28 billion per year is spent on preclinical research that is not reproducible. Looking at avoidable waste in biomedical research on the whole, it is estimated that as much as 85% of expenditure may be wasted due to factors that similarly contribute to non-reproducible research such as inappropriate study design, failure to adequately address biases, non-publication of studies with disappointing results, and insufficient descriptions of interventions and methods.

L’uso di Photoshop

A minare ancora di più la credibilità della ricerca scientifica, qualche mese fa è balzato alle cronache italiane il caso delle ricerche taroccate, in ambito oncologico, al fine di ricevere fondi e finanziamenti.

In più di una sede (giornali, social network, TV) si è assistito alla difesa delle persone coinvolte, importanti esponenti della comunità scientifica italiana (sic!).

Tra le argomentazioni più significative riportiamo quelle di chi sosteneva che, falsificare i risultati di una ricerca con Photoshop, non fosse poi così grave perché “non è un reato farlo” ed anche chi, al limite dell’ingenuo, asseriva che “per una buona causa”, ovvero l’ottenimento dei fondi per la ricerca oncologica, si potesse anche un po’ barare.

L’allarme lanciato da Nature, come il caso su riportato, ci dovrebbe far capire che, se vogliamo veramente (ma lo vogliono veramente?) progresso, affidabilità e avanzamento della ricerca scientifica, nonché fiducia, serve trasparenza.
Perché, come dice Nature, barare (anche solo un po’), nuoce gravemente alla salute.

Perché si bara nelle pubblicazioni? Cosa è il “publish or perish”?

Tutto questo nella prossima puntata…

One Reply to “La scienza è riproducibile?”

Rispondi