Interpretazione critica delle pairwise e network meta-analisi di studi clinici randomizzati in ambito respiratorio

Introduzione

La meta-analisi, anche detta sintesi quantitativa, è una tecnica statistica che permette di esaminare i dati estratti da un certo numero di studi indipendenti e riguardanti lo stesso argomento, al fine di sintetizzare i risultati analizzati e riportarli come effetto stimato. Le meta-analisi consentono di esaminare la letteratura esistente riguardante uno specifico quesito, solitamente controverso, per determinare se è possibile giungere a una solida conclusione inerente il profilo di efficacia e sicurezza di un determinato trattamento.

Le meta-analisi sono state condotte per la prima volta alla fine degli anni settanta in ambito psichiatrico (1). Da allora la tecnica meta-analitica si è affinata ed è stata ampiamente applicata nell’ambito delle patologie respiratorie croniche e specificatamente alla loro terapia (2–15).

La forza di una meta-analisi condotta in maniera conforme alle attuali linee guida internazionali (16) risiede nella possibilità di combinare i risultati di studi di diverse dimensioni, che potrebbero essere stati sottodimensionati per quanto riguarda la quantificazione della differenza statisticamente significativa in termini di efficacia ed eventi avversi indotti da uno o più trattamenti farmacologici. Inoltre, le meta-analisi possono essere utilizzate per chiarire questioni su cui studi clinici randomizzati controllati, di grandi dimensioni, non hanno portato a un consenso nella comunità scientifica.

Gli effetti stimati risultanti da studi meta-analitici possono essere relativi oppure assoluti, e vanno interpretati in prima battuta sulla base della presenza di significatività statistica, con p < 0,05. Considerando meta-analisi condotte su studi clinici controllati randomizzati, una volta confermata la significatività statistica si rende necessario interpretare i dati da un punto di vista clinico, sulla base delle minime differenze clinicamente importanti [minimal clinically important difference (MCID)], così come riportate in letteratura (17). Ad esempio, negli studi farmacologici condotti in pazienti affetti da bronco-pneumopatia cronica ostruttiva (BPCO), le minime differenze clinicamente importanti rispetto a un farmaco comparatore attivo sono 60 ml di volume espiratorio massimo al primo secondo [VEMS, forced expiratory volume in 1 s (FEV₁)] oppure ≈0,75 di rischio relativo [relative risk (RR)] per quanto riguarda la riduzione delle riacutizzazioni (9,17–20).

Considerando quindi le minime differenze clinicamente importanti, i risultati di una recente meta-analisi hanno dimostrato che, benché aggiungere un corticosteroide inalatorio [inhaled corticosteroid (ICS)] ad una combinazione di farmaci broncodilatatori a lunga durata d’azione [β₂-agonisti a lunga durata d’azione, long-acting β₂-agonist (LABA) e antimuscarinici a lunga durata d’azione, long-acting muscarinic antagonist (LAMA)] induca un aumento statisticamente significativo del VEMS e una diminuzione statisticamente significativa del rischio di riacutizzazioni di BPCO, tali miglioramenti non raggiungevano le minime differenze clinicamente importanti (2). Al contrario, un’altra recente meta-analisi ha dimostrato che aggiungere un LAMA alla combinazione di ICS/LABA non solo induce un aumento statisticamente significativo del VEMS e una diminuzione statisticamente significativa del rischio di riacutizzazioni di BPCO, ma che tali miglioramenti superavano le minime differenze clinicamente importanti (15). Questi risultati supportano il ruolo cardine della doppia broncodilatazione nella terapia della BPCO e suggeriscono che nei pazienti con BPCO già in terapia con la combinazione ICS/LABA, bisognerebbe valutare la possibilità di passare alla combinazione LABA/LAMA prima di utilizzare la triplice terapia con ICS/LABA/LAMA.

Come per la pianificazione di uno studio clinico, anche il disegno di uno studio meta-analitico può influenzare la validità e robustezza dei risultati ottenuti. A tal proposito, il punto di riferimento per la conduzione di una meta-analisi attendibile è rappresentato dal documento PRISMA-P (Preferred Reporting Items for Systematic Review and Meta-Analysis Protocols), pubblicato nel 2015 (16). L’obiettivo di questo documento è di fornire gli strumenti per condurre meta-analisi di alta qualità, che non siano inficiate da possibili fattori confondenti.

In questa review si riportano i punti chiave necessari per interpretare in maniera corretta e critica le meta-analisi correnti, e per valutare quanto i risultati ottenuti siano attendibili da un punto di vista statistico e clinico.

Obiettivi della meta-analisi

Gli obiettivi di una meta-analisi devono essere espressamente indicati e possono includere obiettivi primari e secondari. La questione cardine di una meta-analisi non dovrebbe essere stata già risolta dai risultati di più studi randomizzati, condotti in maniera corretta. L’obiettivo principale di una meta-analisi, oltre alla quantificazione dell’efficacia di un trattamento, può riguardare anche la valutazione del profilo di sicurezza di una determinata terapia; i risultati di una meta-analisi possono essere utilizzati per determinare la dimensione campionaria di future sperimentazioni, sviluppare la base statistica per studi di analisi costo-efficacia e valutare l’associazione tra esposizione e patologia soprattutto in sottogruppi di popolazioni raramente studiate nei singoli studi.

Registrazione del protocollo

Per condurre in maniera adeguata una meta-analisi è necessario che il protocollo sia registrato preventivamente presso la banca dati PROSPERO (https://www.crd.york.ac.uk/prospero/).

Ricerca della letteratura

La revisione sistematica della letteratura per l’identificazione degli studi da inserire nei modelli meta-analitici va condotta in database validati e riconosciuti dalla comunità scientifica, come ad esempio ClinicalTrials.gov, Cochrane Central Register of Controlled Trials (CENTRAL), Embase, EU Clinical Trials Register, Google Scholar, MEDLINE (PubMed), Scopus e Web of Science. Solitamente non dovrebbero essere posti limiti temporali nella ricerca della letteratura. Almeno due revisori dovrebbero cercare le fonti per gli articoli pertinenti l’obiettivo della meta-analisi, e le parole chiave utilizzate nella ricerca devono essere espressamente specificate nei metodi. Andrebbe riportato anche il numero di studi inclusi ed esclusi, nonché i motivi dell’esclusione.

Estrazione dei dati

L’estrazione dei dati è uno dei passaggi critici nella conduzione di una meta-analisi e i metodi utilizzati dovrebbero essere descritti nel dettaglio. Considerando che spesso l’estrazione dei dati è una procedura complessa, questa dovrebbe essere condotta seguendo le raccomandazioni correnti proposte dal documento DECiMAL (Data Extraction for Complex Meta-anALysis) (21). Almeno due autori dovrebbero estrarre le informazioni dagli studi in maniera indipendente. Il manoscritto dovrebbe anche indicare se eventuali incongruenze tra gli autori sono state risolte tramite consenso.

La valutazione della qualità degli studi inseriti in una meta-analisi garantisce che l’analisi finale sia stata condotta esclusivamente utilizzando i dati estratti da studi attendibili. Gli strumenti ad oggi validati per valutare la qualità degli studi clinici sono il Cochrane Collaboration’s tool for assessing risk of bias in randomised trials (metodo qualitativo) e lo Jadad score (metodo quantitativo) (6). Anche in questo caso, la valutazione della qualità degli studi andrebbe effettuata da almeno due autori ed eventuali incongruenze risolte tramite consenso.

Il Cochrane Collaboration è un’iniziativa internazionale no-profit, che ha lo scopo di raccogliere, valutare in maniera critica e diffondere le informazioni relative all’efficacia e alla sicurezza degli interventi sanitari. Il Cochrane Collaboration ha messo a punto il software Reviewer Manager (RevMan) 5, finalizzato alla preparazione di protocolli e revisioni complete, inclusi testo, caratteristiche degli studi, tabelle di confronto e dati di studio. Può eseguire la meta-analisi dei dati inseriti e presentare i risultati graficamente. RevMan 5 può essere utilizzato per scrivere revisioni di studi di accuratezza di test diagnostici, revisioni di studi di metodologia e panoramiche delle revisioni (https://community.cochrane.org/help/tools-and-software/revman-5).

Il Cochrane Collaboration’s tool for assessing risk of bias in randomised trials si basa sulla valutazione qualitativa (basso rischio, alto rischio, rischio incerto) di potenziali fonti di bias negli studi clinici, quali: la generazione della sequenza di randomizzazione, l’occultamento della sequenza di assegnazione, la conoscenza da parte dei partecipanti o degli sperimentatori del tipo di trattamento somministrato, l’occultamento della variabile da studiare, la valutazione di dati incompleti, bias di selezione e altre fonti di bias (22).

Nello Jadad score gli studi sono valutati in base alla presenza di tre caratteristiche metodologiche chiave, in particolare la randomizzazione, l’occultamento e la quantificazione dei pazienti che sono usciti dallo studio. Il punteggio complessivo è compreso tra 0 e 5. È interessante evidenziare come sia presente una notevole sovrapposizione tra le variabili considerate dal Cochrane Collaboration’s tool for assessing risk of bias in randomised trials e il Jadad score (23).

Come per gli studi clinici randomizzati controllati, i criteri di inclusione ed esclusione degli studi da inserire nella meta-analisi devono essere chiaramente definiti e stabiliti prima della ricerca in letteratura. Questo permette di condurre la meta-analisi valutando i risultati ottenuti in una popolazione quanto più omogenea possibile.

Analisi dei dati

Le meta-analisi appaiate (pairwise meta-analyses) permettono di effettuare la sintesi quantitativa di confronto tra due bracci di trattamento, in particolare tra un trattamento oggetto di studio e il placebo, oppure tra due trattamenti che sono stati confrontati direttamente in studi clinici randomizzati controllati. I principali modelli utilizzati per combinare i dati in corso di meta-analisi appaiate sono il metodo Mantel-Haenszel, che si basa su modelli a effetto fisso, e il metodo DerSimonian-Laird, che si basa su modelli a effetto casuale (24). Il principale obiettivo di questi metodi è fornire una stima riassuntiva dell’effetto indotto da un determinato intervento, insieme a un intervallo di confidenza. I modelli a effetto fisso valutano se il trattamento ha prodotto un beneficio negli studi analizzati. Al contrario, i modelli a effetto casuale presuppongono che gli studi inclusi nella meta-analisi siano un campione casuale di un determinato gruppo di studi. I modelli a effetto casuale forniscono una stima più prudente dei dati combinati, con un intervallo di confidenza più ampio e una minore possibilità di ottenere effetti stimati statisticamente significativi.

Il test per la valutazione dell’eterogeneità, detto I², valuta la possibilità che la dimensione dell’effetto sia sovrapponibile in tutti gli studi inclusi nella sintesi meta-analitica. Se l’eterogeneità risulta essere statisticamente significativa, con p < 0,05, l’effetto stimato risultante dall’analisi potrebbe non rappresentare il reale effetto del trattamento. In questo caso si rende necessario rivalutare gli studi inclusi nell’analisi, per identificare differenze sostanziali tra le caratteristiche dei vari studi e/o dei pazienti arruolati. Questa procedura è chiamata analisi di sensibilità o di sottogruppi (sensitivity analysis oppure subgroup analysis).

Una corretta analisi dell’eterogeneità prevede anche ulteriori test, quali il funnel plot e il test di Egger: il funnel plot permette di spiegare in maniera qualitativa l’origine dell’eterogeneità, che a sua volta può essere quantificata matematicamente tramite il test di Egger (25). Ulteriori dettagli sul funnel plot e il test di Egger sono riportati nel paragrafo “Bias di pubblicazione”.

Le network meta-analisi permettono di effettuare la sintesi quantitativa di confronto tra tre o più bracci di trattamento, inclusi molteplici trattamenti attivi e/o il braccio placebo. Le network meta-analisi permettono di comparare in maniera indiretta trattamenti attivi che non sono mai stati comparati direttamente in studi clinici randomizzati controllati, utilizzando ad esempio il braccio placebo che è solitamente comune ai diversi studi inseriti nella meta-analisi.

Nelle network meta-analisi il corrispettivo dell’eterogeneità è rappresentato dall’inconsistenza, che può essere studiata in maniera esaustiva, benché con metodi statistici più complessi rispetto all’analisi dell’eterogeneità (26,27).

Le network meta-analisi permettono anche di stabilire il grado di efficacia e/o di sicurezza dei trattamenti oggetto di studio tramite il metodo SUCRA (analisi dell’area sotto la curva del ranking cumulativo, surface under the cumulative ranking curve analysis). Il risultato del metodo SUCRA è un indice con intervallo 0–1, in cui 1 indica un trattamento che è sicuramente il migliore e 0 un trattamento che è sicuramente il peggiore (28). I dati risultanti dal metodo SUCRA sono solitamente riportati in forma tabellare, benché la rappresentazione grafica del metodo risulti meglio comprensibile laddove si vogliano riportare i risultati combinati di efficacia e sicurezza.

Interpretazione dei risultati

Gli effetti stimati risultanti da una sintesi quantitativa della letteratura devono essere presentati in modo comprensivo, affinché anche un lettore non esperto in meta-analisi e statistica possa comprenderli. Le meta-analisi dovrebbero riportare una tabella riassuntiva che illustra le caratteristiche principali degli studi e della popolazione analizzata. Differenze sostanziali nel disegno dello studio o nelle popolazioni di pazienti possono portare ad eterogeneità significativa, suggerendo che i dati degli studi non dovrebbero essere combinati.

Il grafico tipico che visualizza i risultati delle meta-analisi appaiate è detto forest plot, in cui l’effetto dei singoli studi è rappresentato da un quadrato che può indicare la differenza della media [mean difference (MD)], la differenza della media standardizzata [standardized mean difference (SMD)] e il RR, a cui è associato l’intervallo di confidenza al 95% (IC 95%). La dimensione del quadrato corrisponde al peso di ogni singolo studio nel modello meta-analitico. L’area dei quadrati è proporzionale alla popolazione dei singoli studi e alla qualità degli stessi. L’effetto stimato risultante dalla sintesi dei risultati dei singoli studi è rappresentato da un diamante, la cui larghezza rappresenta l’IC 95% (Figura 1). L’analisi di sensibilità è un metodo che permette di valutare quali siano gli studi che introducono un livello significativo di eterogeneità nel modello meta-analitico. Questa analisi viene condotta eliminando uno per volta gli studi che sono più distanti dall’effetto stimato (diamante) e che sono caratterizzati da quadrati più piccoli. L’analisi di sensibilità permette di testare la solidità dei risultati al fine di ottenere meta-analisi dalle conclusioni attendibili.

Al contrario delle meta-analisi appaiate, i risultati delle network meta-analisi non vengono riportati attraverso il forest plot in quanto i trattamenti comparati sono almeno tre, e quindi la rappresentazione grafica bidimensionale non è applicabile. I dati risultanti da una meta-analisi sono rappresentati come effetto relativo [relative effect (RE)], che può esprimere la MD oppure il RR sulla base delle variabili analizzate, associato all’intervallo di credibilità al 95% (ICr 95%). L’ICr 95% che risulta da una network meta-analisi rappresenta con buona approssimazione l’IC 95% ottenuto da una meta-analisi appaiata. Come in corso di meta-analisi appaiata, anche per le network meta-analisi è possibile interpretare le differenze tra i vari trattamenti sulla base della significatività statistica e delle minime differenze clinicamente importanti. Un aspetto rilevante delle network meta-analisi è dato dalla possibilità di stabilire una classifica di efficacia e/o di sicurezza dei vari trattamenti analizzati impiegando il metodo SUCRA. In particolare, soprattutto quando si valuta il livello di efficacia oppure di sicurezza considerando una sola variabile, la classifica dei vari trattamenti sulla base del SUCRA può essere riportata numericamente nel testo oppure in forma di tabella. Ad esempio, la recente network meta-analisi, che ha confrontato l’impatto sulla BPCO della terapia con triplice combinazione rispetto alla doppia broncodilatazione oppure rispetto alla singola broncodilatazione, ha evidenziato che la combinazione ICS/LABA/LAMA (SUCRA: 0,99) era superiore alla combinazione LABA/LAMA (SUCRA: 0,39) e alla singola broncodilatazione con LABA oppure LAMA (SUCRA: 0,12) nella prevenzione del rischio di riacutizzazione di BPCO (2). È però interessante notare come la stessa analisi abbia messo in evidenza che il profilo di sicurezza basato sul rischio di polmonite era migliore per la combinazione LABA/LAMA (SUCRA: 0,73) seguito dalla singola broncodilatazione con LABA oppure LAMA (SUCRA: 0,65); al contrario, il trattamento con la triplice combinazione ICS/LABA/LAMA risultava essere associato con un elevato rischio di polmonite nei pazienti con BPCO (SUCRA: 0,12) (2).

Sebbene la caratteristica principale di una terapia farmacologica sia l’efficacia, il detto “primum non nocere” rappresenta un principio fondamentale universale in medicina da oltre 2000 anni (29). In questo contesto risulta utile combinare i valori risultanti dal metodo SUCRA per quanto riguarda la classifica integrata di efficacia e sicurezza. Purtroppo, in questo caso i dati combinati riportati semplicemente nel testo oppure in tabella sono di difficile interpretazione, soprattutto per i clinici che possono non avere una formazione statistico/meta-analitico solida. A tal riguardo, la classifica del profilo combinato di efficacia/sicurezza risultante da una network meta-analisi risulta essere facilmente fruibile dal clinico quando i risultati del SUCRA sono riportati sotto forma di grafico. Ad esempio, i dati del SUCRA riguardanti la triplice terapia, doppia e singola broncodilatazione nella BPCO pubblicati da Cazzola et al. (2) possono essere espressi anche come riportato nella Figura 2. Dal grafico appare quindi evidente che il trattamento con la combinazione LABA/LAMA sia caratterizzato da un profilo combinato di efficacia/sicurezza (VEMS + rischio di riacutizzazione di BPCO + rischio di polmonite) migliore rispetto a quello della combinazione ICS/LABA/LAMA. Infatti i valori del SUCRA per la doppia broncodilatazione risultano più vicini all’angolo in alto a destra (migliore profilo di efficacia/sicurezza) rispetto ai valori ottenuti per la triplice terapia.

Bias di pubblicazione

Le meta-analisi sono soggette a bias di pubblicazione, o fattori pregiudiziali, in quanto gli studi con risultati negativi o non significativi hanno meno probabilità di essere pubblicati rispetto a studi con risultati positivi e statisticamente significativi; di conseguenza, i risultati delle meta-analisi potrebbero sovrastimare l’effetto stimato di un determinato trattamento in un determinata patologia. Si possono attuare molteplici strategie per minimizzare il rischio di bias da pubblicazione. Ad esempio, si può consultare il database ClinicalTrials.gov della US National Library of Medicine per identificare eventuali studi negativi di cui sono disponibili i risultati, ma che non sono mai stati pubblicati su riviste scientifiche.

Ad oggi sono stati messi a punto metodi precisi per identificare eventuali bias di pubblicazione. Ad esempio, il grafico funnel plot, o grafico a imbuto, permette di rilevare visivamente la presenza di eventuali bias di pubblicazione. In un grafico a imbuto la dimensione dello studio riportato sull’asse delle ordinate (Y) è messo in correlazione con la misura dell’effetto sull’asse delle ascisse (X). All’aumentare della popolazione arruolata negli studi, aumenta conseguentemente anche la precisione della stima del reale effetto del trattamento. In assenza di bias di pubblicazione, gli studi più piccoli si distribuiscono alla base dell’imbuto, mentre gli studi più grandi si localizzano in prossimità del vertice dell’imbuto (Figura 3A). In presenza di bias di pubblicazione, gli effetti degli studi si trovano all’esterno dell’imbuto. La limitazione principale del metodo funnel plot è rappresentata dal fatto che la valutazione dei bias di pubblicazione è fatta sulla base di un’ispezione visiva del grafico, con conseguenti interpretazioni soggettive. Al contrario, è possibile quantificare statisticamente la presenza di bias di pubblicazione tramite il test di Egger (30). Qualora le bande di confidenza derivanti dal test di Egger includano l’origine del grafico (intercetta X e Y = 0), allora i risultati della meta-analisi non sono affetti da bias di pubblicazione, anche se alcuni studi fossero posizionati all’esterno del grafico ad imbuto (Figura 3B).

Qualità dell’evidenza

La qualità dell’evidenza degli effetti stimati, risultante da un processo meta-analitico, può essere quantificata sulla base del sistema GRADE, proposto dal gruppo di lavoro Grading of Recommendations Assessment, Development and Evaluation (31). Questo sistema permette di produrre una classifica della qualità dell’evidenza prodotta, rappresentata con una serie di “+”. La qualità dell’evidenza dell’effetto stimato risultante da una meta-analisi può essere molto bassa (+: la stima dell’effetto stimato ottenuto è molto incerta), bassa (++: è molto probabile che ulteriori studi possano modificare l’effetto stimato ottenuto), moderata (+++: è probabile che ulteriori studi possano modificare l’effetto stimato ottenuto), alta (++++: è improbabile che ulteriori studi possano modificare l’effetto stimato ottenuto).

Conclusioni

Le meta-analisi rappresentano uno strumento efficace per combinare i risultati di vari studi simili, caratterizzati da popolazioni di pazienti sottodimensionate, al fine di dimostrare un’eventuale associazione statisticamente significativa in presenza di un determinato trattamento. Le meta-analisi possono trovare anche applicazione per chiarire quesiti clinici sui quali studi clinici randomizzati controllati, di grandi dimensioni, non hanno portato a un consenso nella comunità scientifica. Come per gli studi clinici randomizzati controllati, anche i protocolli meta-analitici devono prevedere domande specifiche ed essere conformi con le attuali raccomandazioni internazionali. Questo permette di produrre risultati di alta qualità e attendibili da un punto di vista sia statistico che clinico, con lo scopo di sintetizzare le evidenze estratte dalla letteratura corrente. L’eterogeneità tra i protocolli dei vari studi clinici inseriti nelle meta-analisi e la variabilità delle popolazioni di pazienti oggetto di studio rappresentano il problema più comune della maggior parte delle meta-analisi ad oggi consultabili. I bias di pubblicazione e l’eterogeneità indotta dalla variabilità dei protocolli di studio e delle popolazioni incluse nei modelli meta-analitici possono essere evitati applicando in maniera oggettiva l’attuale documento PRISMA-P (http://www.prisma-statement.org).

I risultati di una meta-analisi, anche se sono statisticamente significativi rispetto al comparatore, devono risultare applicabili nella pratica clinica. Per questo motivo, gli effetti stimati ottenuti devono essere interpretati anche sulla base delle minime differenze clinicamente importanti. L’impatto clinico di un determinato effetto stimato, ottenuto per un certo trattamento, va interpretato sulla base del tipo di comparatore. A tal riguardo è necessario specificare se le minime differenze clinicamente importanti sono relative a un comparatore non attivo (controllo, placebo, pazienti non trattati) oppure a un comparatore attivo (un altro trattamento o combinazioni di trattamenti che hanno un effetto sulla variabile di studio).

Infine, il metodo SUCRA permette di sintetizzare in maniera semplice e comprensibile i risultati, talvolta complessi, ottenuti dalle network meta-analisi. In caso di sintesi quantitative caratterizzate da un solido network, il SUCRA rappresenta uno strumento utile per i clinici in quanto facilita l’interpretazione di comparazioni sia dirette che indirette, indicando quale sia il trattamento migliore per efficacia e sicurezza. In ogni caso, non bisogna limitarsi ai risultati prodotti dal metodo SUCRA, ma occorre interpretarli insieme alla misura degli effetti stimati relativi e assoluti.

Disclosures

Authorship: PR and LC equally contributed to the conception and design of the manuscript, data acquisition or data analysis and interpretation, drafting of the manuscript and/or revising it for critically important intellectual content, revision and final approval of the manuscript and statistical analysis, obtaining funding, administrative, technical, or material support, or supervision.

Conflict of interest: PR reports grants, personal fees and non-financial support from Almirall, AstraZeneca, Biofutura, Boehringer Ingelheim, Chiesi Farmaceutici, GlaxoSmithKline, Menarini Group, Mundipharma, Novartis, Zambon, outside the submitted work. LC reports grants, personal fees and non-financial support from AstraZeneca, Chiesi Farmaceutici, Boehringer Ingelheim, Novartis, Almirall, ABC Farmaceutici, Recipharm, Zambon, Verona Pharma, and Ockham Biotech, outside the submitted work.

Financial support: none declared.