Studi scientifici: usare con cautela
di Raffaella Daghini - 07/10/2005
Fonte: disinformazione.it
Studi scientifici: usare con cautela
Raffaella Daghini - www.zadig.it/news2005/sci/new.php?id=0005
Fonte: PLoS Medicine 2005; 2: 696 e 272
La verità scientifica? Meglio metterci una pietra sopra. Almeno per quanto riguarda i risultati della maggior parte degli studi scientifici, per i quali bisogna rassegnarsi all’idea che «è più probabile che siano falsi piuttosto che veri». Questa tesi, certamente provocatoria e tutt’altro che incoraggiante, è stata illustrata (e dimostrata, numeri alla mano) sulla rivista ad accesso libero PLoS Medicine da John Ioannidis dell’Università greca di Ioannina, che non è nuovo ad affermazioni «forti» sulla validità o meno degli studi scientifici. Nel luglio di quest’anno, infatti, su JAMA era comparso uno studio dello stesso autore che si proponeva di valutare con quale frequenza i risultati di studi clinici che dimostravano l’efficacia di una cura fossero stati smentiti o ridimensionati da ricerche successive. Analizzando 45 studi, pubblicati sulle riviste mediche più prestigiose tra il 1990 e il 2003, Ioannidis aveva osservato che i dati di 7 erano stati ribaltati e per altri 7 c’era stato un significativo ridimensionamento. Una smentita più o meno forte, quindi, era arrivata per un terzo di questi studi.
Forte di questa premessa, Ioannidis ha inquadrato in un modello matematico, quantificandoli, i parametri considerati significativi per valutare la validità di uno studio e, quindi, le possibili fonti di errore. Il più intuitivo di questi parametri, ma anche il meno accurato, è la significatività statistica. Uno studio è considerato statisticamente significativo se la probabilità che il risultato sia completamente dovuto al caso è una contro venti: questo significa che, esaminando 20 differenti ipotesi scelte a caso, una di esse, in media, potrà risultare statisticamente significativa. Mentre dal punto di vista puramente matematico questo può risultare un parametro affidabile per determinare la validità di un metodo, se ci si cala nella realtà delle ipotesi che sono analizzate nelle ricerche ci si rende conto che la significatività statistica non può essere l’unico elemento su cui basarsi per valutare uno studio. Quando le possibili ipotesi da analizzare sono centinaia (è il caso, per esempio, dell’influenza di un gene su una malattia), questo standard può indurre in errore: infatti alcune ipotesi in apparenza significative potrebbero essere, per gli scherzi del caso, false. O per converso, se si prendono in considerazione, in modo del tutto casuale, 20 ipotesi false, una di esse potrebbe risultare vera.
Questo aspetto, per quanto importante, non è però l’unico che Ioannidis considera nel suo modello. Vari altri fattori possono indurre errori negli studi scientifici. Le limitate dimensioni dei campioni considerati, per esempio, o un disegno poco accurato dello studio, che consente ai ricercatori di «pescare» tra i propri dati quelli che provano la tesi iniziale. C’è poi da tenere nel dovuto conto anche la «parzialità» dei ricercatori, dovuta all’attaccamento alla propria teoria o ad aspetti più profani di interesse economico.
Elaborando tutti questi elementi secondo il proprio modello matematico, Ioannidis arriva a concludere che uno studio disegnato secondo buoni parametri può arrivare ad avere l’85 per cento delle probabilità di dare risultati corretti; se i parametri non sono rispettati o lo sono solo in parte questa probabilità scende fino al 17 per cento. Quindi, calcolatrice alla mano, in media più della metà degli studi dà risultati falsi con buona probabilità.
Che fare, allora? «La verità scientifica è un bersaglio in movimento» commentano gli editori di PLoS Medicine. «La possibilità che la maggior parte delle conclusioni sia falsa fa inevitabilmente parte dell’impegno nella ricerca. Chiunque sia coinvolto nella realizzazione e nella pubblicazione degli studi deve necessariamente essere di mente aperta, rigoroso e onesto nel progettare gli esperimenti, analizzare i risultati, comunicare le conclusioni, revisionare i manoscritti, commentare i lavori e accettare che l’incertezza esiste nel campo della ricerca».
A questo punto, non senza una punta di malignità, ci sarebbe da chiedersi, come fa l’Economist: che probabilità c’è che lo studio di Ioannidis sia falso?
Come individuare i risultati falsi
Secondo Ioannidis alcuni elementi aiutano a individuare i risultati che hanno maggiore probabilità di essere falsi:
1. più sono piccole le dimensioni degli studi, più bassa è la probabilità che diano risultati validi
2. più limitato è l’effetto misurato, più è probabile che i risultati siano falsi: è più facile avere risultati validi quando si indagano effetti di grande portata (per esempio la relazione tra fumo e malattie cardiovascolari) piuttosto che quelli supposti «piccoli» (per esempio i fattori genetici di rischio di alcune malattie)
3. più alto è il numero delle relazioni analizzate, più probabilmente lo studio darà risultati falsi: gli studi disegnati per confermare un’ipotesi (trial controllati e randomizzati in fase III o metanalisi), per esempio, hanno maggiore probabilità di dare risultati veri
4. più elevata è la flessibilità nel disegno e nel metodo analitico dello studio, maggiore è la probabilità di avere risultati falsi: l’aderenza a modelli standard condivisi aumenta la proporzione di risultati positivi
5. più grandi sono gli interessi (economici e non) in gioco, minore è la probabilità che lo studio dia risultati validi
6. più «caldo» è il campo di ricerca (con grande competizione tra molti gruppi di ricercatori), più elevata è la probabilità che i risultati siano falsi: può sembrare paradossale ma, quando la competizione è accesa, il fattore tempo assume un’importanza fondamentale, spingendo i ricercatori a diffondere nel minor tempo possibile i propri risultati ritenuti «positivi».
Raffaella Daghini