Si è sempre più preccupati che le scoperte scientifiche siano false. La probabilità che una affermazione scientifica sia vera dipende dalla potenzialità e dalla impostazione dello studio, dal numero degli studi sullo stesso argomento e, ancora più importante, dalla percentuale di relazioni negate all’interno di quelle già provate in ciascun campo scientifico.
Stando così le cose una scoperta scientifica tende ad essere meno vera:
· quando gli studi condotti in un campo sono pochi;
· quando sono pochi gli effetti dimostrati;
· quando e’ testato solo un numero piccolo di relazioni mentre è grande il numero delle relazioni possibili;
· quando c’è stata una grande flessibilità nella progettazione, nelle definizioni, nei risultati e nelle modalità di analisi;
· quando c’è un forte interesse economico o di altro tipo dietro allo studio o quando sussiste un pregiudizio di fondo;
· quando sono coinvolti più gruppi di lavoro di un settore scientifico nel caso di una valutazione su base statistica.
Le simulazioni dimostrano che, stando al modo in cui sono progettati e impostati gli studi, nella maggior parte dei casi le scoperte tendono ad essere più false che vere. In diversi settori, inoltre, i risultati spesso possono essere semplicemente il frutto di misurazioni accurate dei pregiudizi prevalenti.
Talvolta, gli studi sono screditati da scoperte ulteriori che mirano a creare confusione e disappunto. Si possono osservare forme di creazione di discredito e di controversie in un’ampia gamma di ricerche. Dai trias clinici agli studi epidemiologici tradizionali, fino alle più moderne ricerche molecolari. Si è sempre più preoccupati che nella ricerca moderna le scoperte false rappresentino la maggioranza. Non bisogna sorprendersi ed è possibile dimostrarlo.
Creare i presupposti per scoperte di falsi positivi
Diversi esperti di metodologia hanno evidenziato che l’alta percentuale della non replicabilità di certe scoperte scientifiche (cioè la mancanza di studi di conferma) è una conseguenza di una strategia, di convenienza e mal fondata, che mira a presentare come conclusivi degli studi che si basano solo su una ricerca realizzata attraverso una valutazione statistica formale, generalmente con una percentuale (p-value) inferiore a 0,05.
La scienza non è rappresentata e riassunta nel modo più appropriato dai valori percentuale, ma sfortunatamente c’è la convinzione diffusa che gli articoli medici debbano essere interpretati solo in questo modo. Le scoperte vengono definite in questi casi come relazioni che raggiungono un significato statistico come nessi causali, informazioni predittive, fattori di rischio o associazioni.
Parzialità
Innanzitutto, definiamo come “parzialità” la combinazione – nella progettazione, nell’analisi e nella presentazione – di fattori che tendono a produrre scoperte scientifiche che altrimenti non emergerebbero. Consideriamo come “u” la proporzione delle analisi provate che non sarebbero considerate scoperte scientifiche, ma, ciononostante finiscono per esser riportate come tali a causa di vizi di parzialità sottostanti.
Non bisogna confondere la parzialità con la possibilità casuale che alcune scoperte risultino false per caso, anche se la progettazione dello studio, i dati, l’analisi e la presentazione sono perfetti. Ci può essere una manipolazione sia a livello dell’analisi che a livello della presentazione dei risultati. Una tipica forma di manipolazione è una presentazione selettiva o distorta.
Possiamo dedurre, perciò, che la “u” non dipende dalla esistenza o meno di una vera relazione (casuale). Si tratta di un presupposto insensato poiché generalmente è impossibile conoscere quali relazioni siano davvero vero. (…..) aumentando le verità parziali, le possibilità che una scoperta sia vera diminuiscono considerevolmente.
Un esempio: scienza con basse percentuali nella fase di pre-studi. Ora, supponiamo che i ricercatori manipolino la propria progettazione, analisi e le relazioni per far superare alle relazioni la soglia percentuale di 0,05 sebbene ciò non sarebbe accaduto utilizzando una progettazione e un’analisi perfettamente aderenti, oltre che una relazione comprensiva dei risultati strettamente legati alla pianificazione originale dello studio.
Una manipolazione del genere può essere eseguita per esempio:
· con l’inclusione o esclusione fortunosa di certi elementi nel gruppo dei pazienti o nel gruppo di controllo;
· con analisi a posteriori di sottogruppi appositamente costituiti;
· con la ricerca di differenze che non erano specificate all’inizio;
· con cambiamenti nella definizione della patologia o dei casi del gruppo di controllo;
· con varie combinazioni di relazione selettiva o distorta dei risultati.
I pacchetti informatici attualmente in commercio di data mining si vantano di offrire la possibilità di nascondere dei dati statisticamente significativi attraverso il recupero di certi dati (sommersi). Persino in assenza di pregiudizi iniziali, inoltre, nel caso in cui dieci gruppi di ricerca indipendenti eseguono esperimenti simili in tutto il mondo, se uno di loro scopre un’associazione significativa su base formalmente statistica, la probabilità che la scoperta sia vera è di poco più alta della probabilità che sia vera prima di intraprendere tale ricerca estensiva.
L’articolo completo è su:
John P.A. Ioannidis fa parte del Dipartimento di Igiene ed Epidemiologia presso la Scuola di Medicina dell’Università di Joannina e dell’Istituto per la Ricerca Clinica e per gli Studi di Politica Sanitaria presso il Dipartimento di Medicina del Centro Medico Tufts del New England presso la Scuola di Medicina dell’Universita di Tufts a Boston, Massachusetts.
Nessun commento:
Posta un commento