"Selon une étude..." : comment faire pour s'y retrouver ?

Rendre publics ses travaux est un passage quasi-obligé pour un scientifique. Il soumet ses résultats à d'autres experts du même domaine - ses pairs - qui vont les commenter, les critiquer, en pointer les limites et/ou les points forts, voire parfois les réfuter. 

La controverse, moteur de la science 

C'est pour cela qu'une étude ne fait en général pas de conclusions définitives, ses auteurs indiquant habituellement que d'autres travaux sont nécessaires, qui viendront le cas échéant compléter, étayer ou contredire les résultats déjà rendus publics. 

C'est un faisceau d'études allant dans le même sens qui va éventuellement permettre de valider des hypothèses et de dégager un consensus scientifique. Cela peut être très long et parfois, aucun consensus clair ne se dégage malgré des années de recherches.

Comme le dit l'Inserm ici, en épidémiologie (quand il s'agit de déterminer si tel facteur est la cause de survenue d'une maladie par exemple) , "comme la victoire, la preuve, ne se construit pas en un round. Seul un corpus de résultats d’enquêtes épidémiologiques, toxicologiques, cliniques… apporte une forte valeur de preuve, et non une enquête unique".

"Toute étude a donc besoin d’être comparée, confrontée à d’autres, pour atténuer les sources d’erreurs possibles et tester différentes hypothèses concurrentes", ajoute l'institution.

Et de filer la métaphore : "la preuve s'obtient en épidémiologie comme certaines victoires en boxe : aux points, jamais par KO". 

Du coup, sur de nombreux sujets, la science n'a pas toujours de réponse tranchée permettant de répondre par "oui" ou par "non", une réalité d'autant plus frustrante dans un contexte de pandémie mondiale et meurtrière.

"La science avance par controverses, réfutations, y compris des choses que l'on considérait comme acquises", rappelle auprès de l’AFP Jean-François Chambon, médecin et directeur de communication de l'Institut Pasteur.

Cela fait partie du mode normal de fonctionnement des scientifiques mais avec la pandémie, les débats ont très largement débordé du seul monde scientifique. 

Reprises abondamment par la presse, relayées et débattues avec virulence sur les réseaux sociaux, citées et parfois instrumentalisées par des personnalités politiques, souvent déformées ou trahies pour venir s'insérer dans une grille de lecture particulière, les études sont mises à toutes les sauces dans le débat public.

 Il y a "étude" et "étude"  

Pour autant, doutes, controverses et instrumentalisations ne signifient pas que les études ne veulent rien dire ou qu'elles se valent toutes: tout est dans le respect de la "méthode scientifique".

Ce document de l'Inserm détaille de façon claire les différents types d'études en épidémiologie, leurs avantages et leurs limites.

Premier  point, il y a en quelques sortes "étude" et "étude". Si le mot est communément utilisé pour désigner, grosso modo, tout travail de recherche rendu public, il recouvre des choses un peu différentes.

La prestigieuse revue scientifique Nature explique par exemple qu'un "article de recherche" est une publication "dont les conclusions font avancer de façon substantielle la compréhension d'un problème important", à la différence des "lettres", correspondances etc…, des documents plus courts en général. 

Elle détaille ici les différents types de textes qu’elle publie. 

De plus, une étude peut porter sur des choses très différentes. Rien que dans le cas du Covid, parmi la multitude d'études qui circulent, certaines se penchent sur l'examen de symptômes, d'autres sur l'efficacité potentielle d'un traitement et ce, in vitro ou sur de "vrais patients".

A tire d'indication, on peut voir ici, de nombreux exemples d'études liées au Covid en ligne sur le site du Journal of the American Medical Association (JAMA).

Deuxième point : où trouve-t-on cette étude ? 

Dans le monde de la recherche, le terme de "publication" désigne les études publiées dans une revue scientifique.

Traditionnellement, le Graal est d'être publié dans un titre prestigieux, comme, en médecine, The Lancet ou The JAMA ou the New England Journal of Medicine... 

Il existe des milliers de revues scientifiques, plus ou moins connues, considérées comme plus ou moins sérieuses du point de vue des textes acceptés et de la rigueur de leurs processus de relecture.

Pour être "publié" , il faut "soumettre" son texte à une revue. S'il est jugé d'un niveau suffisant, elle pourra le faire viser par des scientifiques indépendants, c'est la "revue par les pairs" ("peer-review"), qui vont commenter en détail le texte et le cas échéant demander à l'auteur des précisions et de modifier son texte.

Vient alors la décision finale de publier ou non.

Le processus peut prendre plusieurs semaines voire davantage mais dans le contexte actuel, les processus sont souvent accélérés. 

Le processus est expliqué en détail dans la vidéo (en anglais) ci-dessous par le JAMA, qui affirme n'accepter que 10% des milliers de textes reçus chaque année.

Attention: il existe aussi des titres considérés comme des revues "prédatrices", aux pratiques peu éthiques et peu regardantes sur ce qu'elles publient.

"Les auteurs, généralement sollicités par mail, sont invités à soumettre des articles, lesquels sont systématiquement acceptés moyennant des frais de publication, quelle que soit la valeur scientifique des travaux soumis", explique par exemple ici l'université de Rennes 1. 

Elle renvoie sur cette liste en anglais qui répertorie des titres fortement soupçonnés d'être des revues prédatrices selon ces critères. 

La publication dans une revue prestigieuse "à comité de lecture indépendant" est vue comme un bon gage de qualité, même si ce n'est pas une garantie absolue.  Il existe des exemples célèbres -mais très rares- d'études rétractées (dépubliées), comme cette étude de 1998 liant autisme et vaccin, retirée par The Lancet en 2010.

L'année 2020 a aussi été marquée par la retractation retentissante d'une autre étude du Lancet, publiée fin mai, qui affirmait que l'hydroxychloroquine était inefficace contre le Covid voire dangereuse. 

Comme expliqué dans cette dépêche de l'AFP du 4 juin 2020, des doutes très sérieux sur l'origine des données hospitalières exploitées par la société Surgisphere avaient émergé, au point de d'ôter toute validité scientifique au texte.

Cette retractation a eu un effet dévastateur sur l'image des revues scientifiques et a ensuite été largement exploitée par le récit complotiste tout au long de la pandémie, continuant à affirmer que la molécule avait une efficacité prouvée mais cachée par les labos et les gouvernements.

Comme expliqué dans cette dépêche AFP du 10 septembre 2020, le Lancet avait dans la foulée renforcé son processus de relecture et de transparences des données exploitées dans les études publiées.

Quant à l'hydroxychloroquine, la vaste étude Recovery -aux conclusions publiées ici à l'automne 2020 dans le New England Journal of Medicine- a conclu au manque d'efficacité du médicament.

Le site Retractationwatch recense les rétractations de travaux scientifiques. Il a signalé par exemple le 21 mai 2020 la rétraction par ses auteurs d'une prépublication française signée notamment du Pr Christian Perronne de l'hôpital de Garches et qui "suggérait un intérêt potentiel" de l'HCQ associée à l'azithromycine dans le traitement de malades du Covid hospitalisés.

En attendant d'être éventuellement publié, un auteur peut mettre en ligne son étude sur une plateforme de "pré-publication" ("preprints" en anglais), comme medRxiv (médecine) ou bioRxiv (biologie).

"C'est très bien" parce que ça permet de "partager" son travail rapidement mais "il y a eu une explosion de +preprints+ de très mauvaise qualité, souvent avec de gros problèmes méthodologiques, publiés très vite juste pour pouvoir évoquer le coronavirus", regrette le chercheur en biochimie Mathieu Rebeaud, de l'Université de Lausanne en Suisse, interrogé par l'AFP.

Et "le problème, c'est que certains sont utilisés tels quels par des sites internet ou même des médias alors qu'ils ne sont pas faits pour ça", poursuit-il.

MedRxiv prévient pourtant sur sa page d'accueil : "attention, les prépublications sont des compte-rendus  préliminaires de travaux qui n'ont pas été validés par une revue par les pairs. Ils ne doivent pas servir de base à une pratique clinique ou d'un acte lié à la santé, et ne doit pas être repris dans les médias d'information comme une information établie".

La rigueur scientifique  

De façon générale, toutes les études ont des biais, reste à savoir s'ils sont nombreux, dans quelle mesure ils influent sur les résultats et s'ils sont clairement exposés et pris en compte par les auteurs, via des redressements statistiques.

Une étude rigoureuse mentionnera toujours ses limites et l'interprétation qui peut (ou ne pas) être faite à partir de ses résultats.

Certains chercheurs ont même fait de l'analyse de la validité et de l'intégrité scientifiques une de leurs spécialités, comme la microbiologiste néerlandaire Elisabeth Bik, qui y consacre même un blog où elle décortique des études. 

Prenons l'exemple des études cliniques (sur des patients) sur l'HCQ. Certaines affirment qu'elle est efficace et d'autres non, alimentant des controverses scientifiques et des débats publics interminables. Certaines ont été publiées dans une revue, d'autres pas.

Certaines sont des essais cliniques sur des patients, d'autres des analyses retrospectives de données médicales de patients.

Pour tester l'efficacité d'un traitement, il existe plusieurs types d'études (rétrospective, interventionnelle, observationnelle...) et différentes critères pour mener l'essai : groupe-contrôle (patients qui ne reçoivent pas le traitement), nombre de patients, "randomisation" (les patients sont tirés au sort pour déterminer s'ils sont dans le groupe traitement ou dans le groupe contrôle)...

De plus, l'efficacité peut s'évaluer selon différents critères : baisse de la charge virale ou amélioration de l'état clinique des patients par exemple.

L'étude doit aussi prendre en compte du mieux possible un certain nombre de variables, comme par exemple les autres facteurs de risques (âge, poids, autres maladies...).

L'idée est d'être en mesure de déterminer si c'est bien le médicament lui-même, le plus indépendamment possible d'autres facteurs, qui a eu un effet, qu'il soit négatif ou positif ou nul. 

Sont considérés comme les plus solides les "essais randomisés contrôlés", avec le moins de biais statistiques possibles, sur de larges groupes de patients.

L'Académie nationale de médecine explique ici  que la "'médecine factuelle' d’aujourd’hui, ou 'evidence-based medicine' des Anglo-saxons, correspond à un souci de rationalisation des choix thérapeutiques" et "repose sur les résultats des essais cliniques contrôlés qui garantissent le niveau de preuve le moins discutable et le plus fiable". 

Et "pour être valable, un essai clinique contrôlé doit remplir des conditions méthodologiques précises": ajoute l'institution, citant notamment la randomisation et le groupe-contrôle permettant la comparaison.

Mais ce type d'essai est lourd et long à mettre sur pied, comme en témoignent les débuts difficiles de l'essai européen Discovery, comme expliqué dans cette dépêche de l'AFP du 7 mai 2020 (l'essai a cessé depuis d'inclure des patients dans le groupe testant l'hydroxychloroquine).

La lenteur de ce type d'essais est la principale justification du Pr Didier Raoult, qui a décidé d'administrer HCQ et antibiotique azithromycine à des patients dès les premiers symptômes. Il a rendu publiques plusieurs études affirmant que le traitement était efficace contre le Covid.

Les premières études portaient sur quelques dizaines de patients seulement. La troisième portait cette fois sur plus de 1.000 personnes mais, sans groupe contrôle, ne permettait pas de comparaison et donc de déterminer une efficacité du traitement, comme expliqué dans cette dépêche de l'AFP.

Mise à jour 22/10/2021 : modifie les références à l'étude du Lancet sur l'hydroxychloroquine, retirée depuis. Ajoute étude conclusions de Recovery

+Ajoute citations de l'Inserm sur les études d'épidémiologie