By Gerd Gigerenzer

Summary

'Ce commentaire éditorial de Gerd Gigerenzer et Julian Marewski discute le rêve d'une méthode universelle d'inférence en science. Le grand mathématicien Gottfried Wilhelm Leibniz a rêvé d'un calcul universel dans lequel toutes les idées pourraient être représentées par des symboles et discutées sans querelle. Il a prédit que le projet prendrait cinq ans, mais hélas, n'a jamais été terminé. À sa place, un substitut, la p-value, a été adoptée comme la méthode d'inférence préférée pour la recherche scientifique. Les critiques ont soutenu que les méthodes bayésiennes sont supérieures et devraient être le seul moyen d'analyse à l'avenir. Les auteurs de ce document soutiennent que les deux groupes ont tort de chercher le «faux idole» d'une méthode universelle d'inférence. Les p-values ont causé de grands dommages en remplaçant les répliques réelles par des inférences statistiques qui prétendent estimer la réplicabilité. De grands efforts pour effectuer des répliques d'études emblématiques ont montré que étonnamment peu se répliquent malgré de petites p-values. Les scientifiques d'Amgen n'ont pas pu reproduire 47 des 53 expériences qui ont fourni des cibles pour les médicaments potentiels révolutionnaires. Ceux-ci étaient considérés comme des études majeures et Amgen avait un intérêt financier à les faire fonctionner. Une autre analyse des répliques dans les journaux de gestion, de finance et de publicité a montré que 40 à 60% des répliques contredisaient les résultats des études originales. Les statisticiens ont mis en garde contre les p-values aussi longtemps qu'elles existent, mais elles sont toujours courantes. Un chercheur a calculé le nombre moyen de p-values signalées dans des articles publiés dans un journal d'affaires. C'était 99. Les auteurs ont même trouvé une p-value et un intervalle de confiance calculé pour le nombre de sujets dans une étude, comme s'il pouvait y avoir une incertitude à ce sujet! C'est simplement l'application insensée des statistiques rendue facile par des logiciels de statistiques conviviaux. Les bayésiens d'autre part étaient initialement prudents pour appliquer leurs méthodes uniquement à des situations de «petit monde» où l'incertitude est minimale. Plus tard, leur confiance dans la méthode a grandi et ils ont proposé un «bayésianisme universel» qui peut s'appliquer à des événements répétitifs statistiques ou à des événements singuliers. Les auteurs de cet article suggèrent que le théorème de Bayes peut être utile pour déterminer le risque, mais est d'une valeur incertaine dans un monde incertain. Les auteurs appellent l'utilisation automatique de la règle de Bayes en science un «belle idole», mais avertissent qu'il ne devrait être qu'un outil dans une plus grande boîte à outils. Un exemple de l'application réussie de Bayes en médecine est le calcul de la probabilité qu'une personne ait une maladie lorsqu'elle a été testée positive et que la prévalence de base de la maladie est connue. Sans un antécédent objectif, tel que la prévalence estimée de manière fiable d'une maladie, Bayes devient plus subjectif et moins fiable. Les auteurs ont trois points clés à faire dans ce commentaire: Il n'y a pas de méthode universelle d'inférence scientifique, mais plutôt une boîte à outils complète qui comprend des statistiques descriptives, une analyse exploratoire des données et des techniques de modélisation formelles. La seule chose qui ne devrait pas figurer dans la boîte à outils sont de fausses idoles. Si l'espéré «Révolution bayésienne» a lieu, une fausse idole pourrait être échangée contre une autre. Les facteurs de Bayes pourraient simplement remplacer les p-values comme niveau de signification automatiquement calculé de la science. Les méthodes d'analyse statistique utilisées en science modifient la science elle-même, et vice versa. Par exemple, alors que les sciences sociales mettaient de plus en plus l'accent sur les statistiques inférentielles, l'importance de la réplication et de l'erreur de mesure diminuait. Les percées scientifiques passées, telles que celles d'Isaac Newton et de Charles Darwin, n'ont fait aucune utilisation d'inférence statistique. Newton a mené des expériences soigneuses pour démontrer les effets prédits par ses théories. Aucune statistique n'a été rapportée, même s'il connaissait les méthodes statistiques et les employait même pour le contrôle de qualité dans son métier de maître de la Monnaie royale de Londres. Dans le domaine de la psychologie, maintenant dominé par les statistiques inférentielles, des percées antérieures de Piaget, Pavlov, Skinner et d'autres n'ont fait aucune utilisation d'elles non plus. Ni l'inférence statistique ni bayésienne n'a joué de rôle majeur en science jusqu'aux années 1940. Peu de temps après, le «Rituel Nul» est devenu la méthode d'inférence prédominante, en particulier dans les sciences sociales. Il se compose de trois étapes: Établissez une hypothèse nulle (aucune différence moyenne ou corrélation zéro) sans énoncer votre propre hypothèse. Utilisez 5% comme convention pour rejeter le nul. Effectuez toujours cette procédure. Ce rituel est devenu codifié dans les manuels de publication scientifique, qui ont déterminé le style et la substance de la recherche publiée. Le rituel nul est un hybride du travail de Ronald Fisher et Neyman/Pearson, bien qu'il viole les recommandations des deux. Fisher a une fois proposé le seuil de 5% comme une convention, mais a plus tard désavoué cette pratique. Il a conseillé que les chercheurs devraient: établir une hypothèse nulle qui n'est pas nécessairement une hypothèse nulle. Signalez le niveau exact de signification trouvé. Utilisez cette procédure uniquement si peu de choses sont connues sur le problème étudié. Les auteurs concluent leur éditorial par l'aveu sombre d'un avantage du rituel nul: une source constante d'emploi.''pour des scientifiques moyens qui continueront à publier des recherches non créatives avec peu d'innovation ou de risque.'

• Beginner
• Intermediate
• Original