La collaboration Cochrane a permis de développer la réalisation des revues systématiques et d’en améliorer la méthodologie. Dans son sillage, s’est développé un champ de recherche appelé « la recherche sur la recherche » ou « méta-recherche » visant à identifier les limites de la recherche primaire et des revues systématiques dans l’objectif de les faire progresser.
L’article « Avoidable waste in the production and reporting of research evidence » publié en 2009 dans The Lancet, a synthétisé les lacunes en recherche thérapeutique identifiées depuis les années 90 par les études de méta-recherche conduisant à un « gâchis de la recherche ». Les auteurs concluent qu’une partie importante, estimée à 85% des efforts et des investissements nécessaires à la réalisation d’essais en thérapeutique sont perdus.
Les principales lacunes identifiées concernent l’agenda de recherche et le fait que les principales questions des patients et des cliniciens ne font pas l’objet d’essais notamment les essais comparant deux traitements actifs.
Sont également pointés :
- Les critères de jugement non pertinents pour le patient.
- Les essais à haut risque de biais qui ne permettent pas de fournir des résultats fiables.
- Les essais négatifs non publiés.
- La publication de résultats de critères de jugement non défini à priori.
Comme pour les Essais Contrôlés Randomisés (ECR), la description des méthodes et des résultats des Revues Systématiques (RS) et Méta-Analyses (MA) dans les publications et leur qualité méthodologique ont été étudiées révélant également des améliorations possibles dans ce domaine.
Nous développons des travaux de méta-recherche dans le cadre de l’équipe EpiDermE à partir de l’identification des lacunes et des biais récurrents mis en évidence lors de la réalisation des revues systématiques et méta-analyses Cochrane.
Les résultats des méta-analyses des traitements du psoriasis ne reflètent pas la tolérance des traitements biologiques
Dans les Revues Systématiques (RS) et Méta-Analyses (MA) d’Essais Contrôlés Randomisés (ECR) évaluant les traitements du psoriasis, la proportion d’Effets Indésirables Graves (EIG) ne différent pas entre les groupes traitements et le placebo.
Cette revue systématique et méta-analyse visait à explorer l’hypothèse selon laquelle la prise en compte des cas d’aggravation de psoriasis en tant qu’Évènements Indésirables Graves (EIG) pourrait expliquer cette absence de différence.
Parmi les 140 Essais Contrôlés Randomisés (ECR) inclus dans le Living Network Cochrane Review (dernière recherche le 8 mai 2019), nous avons sélectionné ceux qui comparaient un traitement biologique au placebo. Le critère de jugement principal était le nombre d’EIG dans les bras traitement et placebo après exclusion des cas d'aggravation du psoriasis. Les critères secondaires étaient le nombre d'événements indésirables (EI) d’intérêt.
Nous avons analysé 51 ECR. Parmi ceux-ci, 21 comprenaient au moins un bras anti-TNF, 15 un bras anti-interleukine IL 17, 11 un bras anti IL-23 et neuf un bras anti-IL-12/23. En incluant les cas d'aggravation du psoriasis, le risque de survenue d'EIG entre les traitements biologiques et le placebo ne différaient pas : Risque Relatif (RR) 1.09, Intervalle de Confiance (IC) à 95 % 0.88-1.36. Après exclusion des cas d'aggravation du psoriasis, le RR devenait significatif (RR 1.30, 95% CI 1.02-1.65). Par classe de médicaments, les RR étaient pour l'anti-TNF, 1.68 (95 % IC 1.11-2.54) ; anti-IL-17, 1.28 (95 % IC 0.88-1.85); anti-IL-23, 0.95 (95 % IC 0.59-1.52 ) et anti-IL-12/23, 1.18 (95% CI 0.72-1.94). Nous n'avons pas été en mesure d'examiner les différences potentielles entre les groupes traitements biologiques et placebo en ce qui concerne les EI d’intérêt en raison du faible nombre d'événements.
Après l'exclusion des cas d'aggravation du psoriasis, le risque d'apparition d’un EIG est plus élevé dans le groupe biologique que dans le groupe placebo. Compte tenu de la rareté des événements, nous n'a pas pu mettre en évidence si ce risque était lié à un type particulier d’EIG.
Le protocole de l’étude a été enregistré dans PROSPERO (CRD42019124495).
La majorité des essais thérapeutiques du psoriasis utilise le placebo comme comparateur
malgré un nombre important de traitements effectifs
Dans la revue Cochrane sur les traitements systémiques du psoriasis en plaques, 80% des essais inclus utilisaient le placebo comme comparateur. La réalisation d’essais versus placebo est réglementaire pour l'obtention de l’Autorisation de Mise sur le Marché (AMM) d’un traitement conformément aux recommandations des agences de régulation [(Food and Drug Administration (FDA) et European Medicines Agency (EMA)].
La disponibilité de traitements efficaces pour le psoriasis soulève des questions éthiques sur l'utilisation d'un groupe placebo dans les essais thérapeutiques. Nous cherchons à évaluer l'utilisation du placebo au fil du temps dans le cadre de ces essais.
À partir des essais inclus dans la revue systématique et méta-analyse de réseau Cochrane dynamique évaluant les traitements systémiques du psoriasis, nous avons inclus les essais comparant un produit biologique à un placebo ou à un autre traitement systémique. Nous avons d'abord testé les variations du taux de placebo de 2001 à 2019 par régression linéaire, puis nous avons construit des réseaux pour la période 2004-2019 et évalué la contribution du placebo aux estimations de la méta-analyse de réseau par essai et par comparaison.
Nous avons inclus 81 essais (36 774 patients). Le taux de placebo n'a pas diminué de manière significative au fil du temps. La proportion de contribution des essais avec placebo a diminué de 100% en 2004 à 86% en 2008 et 75% en 2019. Cependant, la part des essais sans placebo est restée faible (de 0 % en 2004 à 25 % en 2019).
Le cadre des futurs essais sur le psoriasis pourrait être revu afin d'améliorer le nombre de patients à inclure dans un groupe placebo.
Qualité et reporting des revues systématiques et méta-analyses en dermatologie
Le nombre de Revues Systématiques (RS) et Méta-Analyses (MA) publiées est en constante augmentation. Considérées comme le plus haut niveau de preuves, elles sont largement utilisées par les auteurs de recommandations et les autorités sanitaires. Il est donc nécessaire qu’elles soient rapportées et réalisées selon des méthodes permettant des résultats fiables et non biaisés. La grille PRISMA est un outil listant chaque point, devant spécifier dans les méthodes, les résultats et la discussion et AMSTAR 2 est un outil permettant d’évaluer le niveau de confiance dans les résultats d’une RS/MA en fonction de la méthodologie suivie. Nous avons réalisé en collaboration avec les Pr H. Williams, Directeur du Health Technology Assessment (HTA) of the National Institue for Health and Care Research (NIHR) Programme, les Pr R. Boyle et R. Dellavalle, Directeurs du Cochrane Skin Group et le Dr I. Garcia Doval, Directeur de la Research Unit of the Spanish Academy of Dermatology, une revue systématique de toutes les publications dans le domaine de la dermatologie identifiées comme étant une revue systématique dans le titre et/ou le résumé publiées en 2017.
Nous avons cherché à évaluer la qualité des Revues Systématiques (RS) dermatologiques et à identifier les facteurs qui prédisent une qualité méthodologique élevée.
Nous avons recherché tous les SR publiés en 2017 en utilisant PubMed, Epistemonikos et la base de données Cochrane des RS. Nous avons inclus les études identifiées comme RS ou méta-analyse dans le titre ou le résumé et traitant d'un sujet dermatologique. La sélection des études, l'extraction des données pour compter les grilles PRISMA et AMSTAR2 ont été effectuées indépendamment par deux auteurs. Sur la base de l'outil AMSTAR 2, la confiance dans les résultats des RS a été classée comme élevée, modérée, faible ou très faible.
Nous avons inclus 732 études. Nous avons décrit un échantillon aléatoire de 140. L’évaluation globale de la confiance dans les résultats selon AMSTAR 2 était élevée ou modérée pour seulement 9/140 études (6 %). Au total, 20 Systematic Reviews (SRs) (15 %) avaient un protocole enregistré. Les facteurs indépendants associés à une confiance évaluée moyenne ou élevée étaient la publication dans une revue ou l’utilisation de PRISMA étaient obligatoires (Odds Ratio (OR) [intervalle de confiance de 95 %] 27,0 [1,4-528]) et le facteur d'impact de la revue (OR de 1,9 [1,3-3]) pour chaque augmentation d'un point supplémentaire.
L'observation selon laquelle 90 % des RS publiées sont de très mauvaises qualité est alarmante. L’enregistrement d’un protocole et l’utilisation de PRISMA devraient être obligatoire lors de la publication des RSs.
Cette étude est enregistrée dans PROSPERO (CRD42018093856).
20% des publications secondaires issues d'essais contrôlés randomisés
n'ont apporté aucune donnée supplémentaire par rapport à la publication initiale
De même que l’absence d’inclusion des essais négatifs dans une revue systématique, l’inclusion à tort plusieurs fois des résultats d’un même essai, biaise les résultats d’une méta-analyse. Dans les revues systématiques que nous avons réalisées certains essais étaient rapportés dans de multiples publications. Nous avons observé jusqu’à un total de 14 publications pour un essai. La pertinence de ces publications multiples est débattue. Pour certains, elles permettent de présenter de manière détaillée l’ensemble des résultats. Pour d’autres, elles ont pour objectif pour les chercheurs de répondre à l’injonction du "publier ou périr" ou de servir de support marketing pour les compagnies pharmaceutiques.
L'objectif de l'étude était d'estimer la proportion de publications secondaires d'Essais Contrôlés Randomisés (ECR) apportant de nouveaux résultats par rapport à la publication primaire.
Nous avons recherché les ECR publiés en 2014 dans les cinq revues médicales présentant les facteurs d'impact les plus élevés. Les publications secondaires de chaque publication primaire ont ensuite été identifiées par leur numéro d'enregistrement. Le critère de jugement principal était la proportion de publications secondaires fournissant des résultats déjà publiés dans la publication primaire et/ou des analyses non spécifiées et/ou une méta-analyse regroupant les résultats d'études sans réalisation d’une revue systématique.
Un total de 144 publications primaires a été identifié : 94 (65%) ont eu au moins une publication secondaire dans les 30 mois suivant une publication primaire. Parmi les publications secondaires, 20 % ont rapporté uniquement des résultats déjà présents dans la publication primaire, et 35 % ont rapporté des résultats non pré-spécifiés ou des analyses poolées non basées sur une revue systématique. Les facteurs associés au fait d'avoir au moins une publication secondaire étaient un grand nombre de participants (Odds Ratio (OR) [intervalle de confiance de 95%] : 3,2 [1,1-9,3] pour les essais avec >1 000 participants par rapport à ≤500), l'étude d'un produit biologique (4,8 [1,4-16,3] par rapport à un produit non biologique) et le domaine cardiologique par rapport à d'autres domaines (7,6 [1,46-39,8]).
La plupart des ECR sur les médicaments dont les résultats sont publiés dans des revues à fort impact ont fait l'objet de publications secondaires. Plus de la moitié de ces publications secondaires ont fourni des résultats déjà publiés dans la publication primaire ou des résultats d'analyses non spécifiées.