Étude bio : décryptage d’une méthodologie statistique inadéquate

Selon le célèbre auteur américain Mark Twain, « il y a trois sortes de mensonges : les mensonges, les sacrés mensonges et les statistiques ». Un colloque organisé par le Centre Max Weber à Lyon le 7 avril 2017 s’est ainsi penché sur le thème « Mensonges et statistiques », abordant notamment l’usage politique qui est fait des statistiques. Et il semblerait malheureusement qu’une partie de la communauté scientifique n’est pas exempte de ce type de dérives, ainsi que vient de le démontrer avec brio Philippe Stoop, membre correspondant de l’Académie d’agriculture de France, à propos d’une étude réalisée récemment par une équipe de l’Inserm et de l’Inra ¹.

Dans le domaine de la nutrition et de la santé, la question des « facteurs de confusion» constitue un nœud essentiel d’interrogations, car de multiples éléments peuvent intervenir pour déclencher ou prévenir un cancer.

Établie sous la coordination de Julia Baudry, cette publication affirme avoir observé un lien négatif entre l’incidence du cancer et la consommation de produits issus de l’agriculture biologique. Ce qui a immédiatement été traduit dans la presse comme la démonstration d’un effet favorable de l’alimentation bio sur la santé humaine. Toutefois, nombreuses sont les critiques qui ont mis en évidence les limites de cette étude, notamment en raison de la complexité du sujet. En effet, dans le domaine de la nutrition et de la santé, la question des « facteurs de confusion » constitue un nœud essentiel d’interrogations, car de multiples éléments peuvent intervenir pour déclencher ou prévenir un cancer. Le risque peut s’en trouver accru par la consommation de tabac et d’alcool, par l’obésité – souvent liée à une alimentation excessive et déséquilibrée –, alors qu’à l’inverse, la consommation de fibres végétales est reconnue fonctionner comme un élément protecteur. « Le risque de cancer associé à chaque individu est donc une combinaison complexe de facteurs favorables et défavorables liés au mode de vie, auxquels viennent s’ajouter les facteurs génétiques et environnementaux », explique Philippe Stoop ². Ainsi, il est notoire que les amateurs de bio sont plus attentifs que la moyenne de la population à leur hygiène de vie, qu’ils fument moins, boivent moins d’alcool, consomment moins de viande et davantage de fruits et légumes que la moyenne de leurs semblables. Toutes évidences que confirment sans surprise les travaux de l’équipe de Baudry.

À LIRE AUSSI : Semences bio : une fausse belle victoire

Ainsi, cette étude se propose d’examiner si le risque plus faible de développer un cancer résulte des bénéfices de la nourriture bio elle-même ou n’est que la conséquence positive du mode de vie plus sain adopté par cette tranche de la population. Conscients que de très nombreux « facteurs de confusion » pourraient fausser leurs résultats, les auteurs ont tout naturellement consacré une partie essentielle de leur travail à tenter d’en corriger les effets. Cependant, comme l’analyse Philippe Stoop, la méthodologie mise en œuvre est très loin d’être… neutre.

Une méthode involontairement orientée ?

Les auteurs ont tout d’abord calculé un indicateur synthétique, l’Organic food score (OFS), qui permet de résumer en une variable unique l’importance de l’alimentation bio de chaque membre de la cohorte. Ils ont ensuite divisé la population en quatre quarts en fonction de leur OFS : le 1er quartile comprend les 25% de personnes qui ont l’OFS le plus faible, et qui sert de population de référence (pas ou peu consommatrice de bio), tandis que le 4e quartile regroupe les 25% de personnes ayant l’OFS le plus élevé (donc les plus forts consommateurs de bio). Les 2e et 3e quartiles représentent les catégories intermédiaires (respectivement de 25 à 50% et de 50 à 75%).

Ensuite, ils ont établi un « hazard ratio » (HR, ou risque relatif en français) à partir du rapport entre les cas de cancer identifiés pour les trois quartiles supérieurs avec celui du 1er quartile. Pouvant être biaisés par ces fameux facteurs de confusion, les HR ont donc fait l’objet d’une série de corrections statistiques. Compte tenu de leur importance – antécédents familiaux de cancer, indice de masse corporelle, consommation de tabac et d’alcool, de fibres végétales, de viande, ration calorique moyenne, etc. –, les auteurs ont appliqué trois niveaux dits de « redressement » pour établir trois « modèles ».

Dans le premier niveau, ils ont corrigé les deux facteurs de confusion les plus généraux, à savoir l’âge et le sexe. Par exemple, le 4e quartile bio est plus âgé de presque 3 ans en moyenne que le 1er quartile, ce qui aggrave le risque général de cancer. Les femmes y sont aussi surreprésentées (81% au lieu de 74%), ce qui influe forcément sur les risques de cancer du sein… ou de la prostate !

À LIRE AUSSI : Ce que l’Agence Bio ne vous a jamais dit

Dans le second niveau, les auteurs ont inclus les corrections pour plus de 20 variables, la plupart étant des facteurs de confusion clairement identifiés (caractéristiques socio-économiques, antécédents familiaux, tabac, alcool, et tous facteurs liés directement ou indirectement à la nutrition), mais aussi l’indice de masse corporelle, la consommation de viande et de fibres, la ration calorique moyenne, ainsi que le score PNN (Programme national de nutrition), un indicateur permettant d’évaluer globalement la qualité nutritionnelle du régime alimentaire. Pour les femmes, plusieurs indicateurs, sur leur statut physiologique (ménopausées ou non) et sur l’usage de contraceptifs, ont également été pris en compte. Après ce niveau de correction, les auteurs ont dé ni ce modèle comme étant le modèle de référence.

Enfin, le troisième niveau traite des indicateurs plus avancés sur la qualité nutritionnelle du régime alimentaire, comme la proportion d’aliments ultra-transformés, la consommation de fruits et légumes, et autres indicateurs alimentaires identifiés à partir d’une analyse en composantes principales (ACP).

Selon les auteurs, ces deux derniers niveaux de correction suffiraient pour éliminer tous les facteurs de confusion potentiels. Autrement dit, l’incidence plus faible de cancer observée dans les modèles 2 et 3 traduirait bien un effet propre à l’alimentation bio, et non la simple conjonction des facteurs favorables associés à la consommation bio. D’où leur conclusion quant aux bienfaits de l’alimentation bio contre le cancer.

Curieuses anomalies

Toutefois, un examen approfondi des résultats statistiques révèle de curieuses anomalies. La première anomalie, considérable, permet de semer le doute sur la méthodologie utilisée. En effet, le troisième niveau de correction, qui ajoute l’effet de ces suspects très à la mode que sont les « aliments ultra-transformés », fournit des résultats assez proches du second niveau de correction. Autrement dit, la consommation d’aliments ultra-transformés n’aurait qu’une incidence marginale sur la santé. Or, un article paru au début de l’année 2018, rédigé par la même équipe, avec la même méthode et sur la même cohorte NutriNet-Santé, concluait précisément le contraire ³! À savoir qu’une augmentation de 10% de la proportion d’aliments ultratransformés dans le régime alimentaire serait associée à une augmentation de plus de 10% de risques de développer un cancer en général, et un cancer du sein en particulier. Ainsi donc, dans une première publication, les auteurs constatent que les aliments ultra- transformés augmentent le risque global de cancer de plus de 20% pour les plus gros consommateurs – résultats hautement significatifs –, tandis que dans la publication suivante ces mêmes auteurs estiment que la consommation d’aliments ultra-transformés n’a strictement aucun effet! « La comparaison de ces deux publications – pourtant réalisées par les mêmes auteurs à quelques mois d’intervalle – devrait inciter à une sérieuse remise en cause méthodologique », note avec ironie Philippe Stoop.

Et ce n’est pas tout. En comparant plus en détail les deux premiers niveaux de correction, on observe des résultats également très surprenants. Ainsi, dans le premier niveau, où des facteurs nutritionnels aussi réputés que l’alcool, le tabac ou la teneur en fibres des aliments ne sont pas encore ajustés, le risque de cancer du quatrième quartile (les plus forts consommateurs de bio) est réduit de 30% par rapport au premier quartile (peu ou pas de consommation de bio), tandis qu’après le deuxième niveau de correction par la ribambelle de facteurs considérés comme favorables aux cancers, l’« effet protecteur » associé au bio diminue, mais de très peu puisqu’il passe à 25%. Autrement dit, l’effet protecteur lié à la consommation bio serait six fois plus important que l’ensemble de tous les facteurs nutritionnels confondus, comme les rations caloriques journalières, la consommation de fibres, de fruits, la diminution de la consommation de viande, etc.

En clair, selon les auteurs, les facteurs nutritionnels autres que bio n’auraient donc qu’un poids faible, voire insignifiant, dans la baisse du risque de cancer observée chez les consommateurs de bio. Un résultat qui se trouve infirmé par la plupart des études réalisées sur des cohortes bien plus grandes et sur des durées bien plus longues que celles envisagées dans cette publication. Comment expliquer cette singularité ? La réponse s’impose d’elle-même : l’ajustement statistique censé séparer l’effet bénéfique du régime alimentaire de celui des aliments bio a totalement échoué. C’est pourtant exclusivement sur ce traitement statistique que reposent les conclusions de l’étude…

1. J. Baudry et al., « Association of Frequency of Organic Food Consumption With Cancer Risk », JAMA Internal. Medicine, 22 octobre 2018.
2. Alimentation bio et risque de cancer : Quand les statistiques décident des résultats, Philippe Stopp, 31 octobre 2018.
3. Emmanuelle Kesse-Guyot et al., « Consumption of ultra-processed foods and cancer risk : results from NutriNet-Santé prospective cohort », British Medical Journal, 18 février 2018.