A Test of the Null Hypothesis Significance Testing Procedure Correlation Argument
By David Trafimow
Summary
'more likely to be true.
Un p value calcule la probabilité d'un ensemble de données si l'hypothèse nulle est vraie: P(F|H0). Les gens supposent qu'il existe une forte corrélation entre la probabilité des résultats étant donné l'hypothèse nulle et l'inverse: la probabilité de l'hypothèse étant donnée les résultats: P(H0|F). Cet article de 2009 de David Trafimow et Stephen Rice est le premier à tester si cette supposition est réellement vraie. Leurs résultats suggèrent que la corrélation est "non impressionnante" et n'offre aucune justification pour l'utilisation de p values. La procédure de test d'importance de l'hypothèse nulle (NHSTP) a généré beaucoup de controverse ces dernières années. Cette procédure largement utilisée implique: Définir une hypothèse nulle et une hypothèse alternative. Collecter des données pour tester ces hypothèses. Calculer une p value. Une p value est la probabilité des données observées, ou quelque chose de plus extrême, si l'hypothèse nulle est vraie. Une faible valeur (moins de 0,05) signifie conventionnellement qu'un chercheur peut rejeter l'hypothèse nulle en faveur de l'hypothèse alternative. L'argument le plus fort contre la p value est qu'elle est logiquement invalide. Si un résultat rare a été obtenu en supposant que l'hypothèse nulle est vraie, cela ne prouve pas de façon concluante que l'hypothèse nulle est fausse. En d'autres termes, une petite p value, P(F|H0), n'entraîne pas une petite probabilité de l'hypothèse étant donnée les résultats, P(H0|F). Pour obtenir cela, P(H0|F), vous devez connaître la probabilité préalable de l'hypothèse. Cela implique l'utilisation du théorème de Bayes. Rejeter une hypothèse nulle sur la base d'une petite p value nécessite une supposition supplémentaire: qu'il y a une corrélation entre la probabilité des données étant donnée l'hypothèse nulle et la probabilité de l'hypothèse nulle étant donnée les données. Les auteurs se sont proposés de tester s'il y a une forte corrélation ici ou non. Pour effectuer ce test, les auteurs devaient connaître trois valeurs clés: la probabilité des données étant donnée l'hypothèse nulle est vraie, P(F|H0), la probabilité préalable de l'hypothèse, P(H0), et la probabilité des données si l'hypothèse nulle n'est pas vraie, P(F|~H0). La première de ces valeurs est simplement la p value et peut être déterminée directement à partir de l'expérience. La seconde est plus délicate. Dans la plupart des cas, les chercheurs doivent faire des suppositions subjectives pour déterminer une probabilité préalable. Et dans le troisième cas, il existe presque une infinité de façons qu'une hypothèse puisse être fausse. Néanmoins, les auteurs ont pu modéliser les effets de diverses suppositions et voir comment elles affectent les résultats. Ils ont calculé les trois valeurs clés pour 65 000 ensembles de données générés aléatoirement. L'analyse a trouvé une très faible corrélation (r = .410) entre la probabilité des données étant donnée l'hypothèse nulle, P(F|H0), et la probabilité de l'hypothèse nulle étant donnée les données, P(H0|F). Le seuil de probabilité pour cette analyse a été fixé à .05 pour chaque valeur. Le résultat de cette analyse est que la p value ne tient pas compte de la plupart (84%) de la variance dans la probabilité de l'hypothèse nulle étant donnée les données, P(H0|F). Par conséquent, la supposée corrélation entre la p value et P(H0|F) n'est pas une "justification convaincante de l'utilisation systématique des p values dans la recherche en sciences sociales". Ils envisagent quelques différentes suggestions. L'une d'entre elles est de remplacer les p values par un calcul de la probabilité de réplication, prep. Ceci calcule la probabilité qu'une deuxième expérience avec des conditions identiques à la première trouvera des résultats allant dans la même direction que la première expérience. Les auteurs critiquent le prep parce qu'il ne prend pas en compte les distributions de probabilité préalables. Et ils ont fait une analyse du prep similaire à l'analyse précédente des p values et les résultats ont été décevants. Il n'est pas clair si ce test mesure même la probabilité d'une réplication. Une autre alternative aux p values est le théorème de Bayes. Cela donnerait aux psychologues ce qu'ils recherchent: la probabilité de l'hypothèse nulle étant donnée leurs résultats, P(H0|F). Cependant, les auteurs voient trois problèmes potentiels: (1) il n'y a pas de moyen convenu pour déterminer la probabilité préalable de l'hypothèse nulle, P(H0); (2) il est incertain comment déterminer la probabilité du résultat étant donné que l'hypothèse nulle n'est pas vraie, P(F|~H0), puisqu'une hypothèse peut être fausse de presque une infinité de façons; (3) le théorème de Bayes interprète la probabilité en tant que degré de croyance rationnelle plutôt que de fréquence attendue. Cela entraîne une série de complications non résolues. Un des auteurs de cet article, Trafimow, a proposé une méthode alternative basée sur les ratios épistémiques. Il est décrit brièvement dans cet article. Il a une "saveur bayésienne", mais est compatible avec les interprétations fréquentistes de la probabilité. Il implique de comparer deux hypothèses concurrentes. Déterminer la probabilité des résultats étant donnée l'une ou l'autre des hypothèses concurrentes est facilement déterminé. Le ratio épistémique des hypothèses peut alors être comparé pour aider un chercheur à décider quelle hypothèse est la plus probable d'être vraie.''plus favorable. Ses inconvénients sont qu'il nécessite des chercheurs pour concevoir plusieurs hypothèses et ne calcule pas la probabilité d'une hypothèse donnée les résultats. Les auteurs concluent que de nombreuses analyses précédentes du NHSTP n'ont pas atteint le cœur du problème. Les partisans ont souvent affirmé une corrélation entre la probabilité des données étant données l'hypothèse nulle, le p value, et la probabilité de l'hypothèse nulle étant donnée les données, P(H0|F). Mais ils n'ont jamais fourni aucune preuve que la corrélation existe réellement. Ce papier a mis la corrélation espérée à l'épreuve et elle a échoué.'
'Les p values sont utilisées par les scientifiques pour tester leurs hypothèses, qui sont des idées sur comment quelque chose dans le monde pourrait fonctionner. Une p value mesure à quel point les résultats d'une expérience sont probables si l'hypothèse nulle est vraie. L'hypothèse nulle signifie que tout ce que vous avez fait dans votre expérience n'a eu aucun effet. Une faible p value signifie que le résultat d'une expérience était peu probable si l'hypothèse nulle est vraie. Beaucoup de gens supposent qu'une faible p value signifie également que l'hypothèse nulle est fausse. Mais personne n'a vraiment testé si cela était vrai ou non jusqu'à maintenant. Les auteurs de cet article ont fait le test et ont découvert que les p values et la probabilité de l'hypothèse nulle ne sont pas étroitement liées. Trouver une petite p value ne signifie pas que l'hypothèse nulle est fausse. Les auteurs ont également envisagé quelques alternatives à la p value : Déterminer à quel point une expérience est susceptible de montrer le même résultat si vous la refaites Utiliser quelque chose appelé le théorème de Bayes qui détermine la probabilité d'une hypothèse nulle. Cela implique de déterminer à quel point l'hypothèse nulle était probable avant l'expérience. Une autre méthode où vous comparez deux hypothèses différentes pour voir laquelle explique mieux les résultats d'une expérience Chacune de ces méthodes sont bonnes à certains égards, mais ont aussi des inconvénients. Les auteurs de cet article soutiennent qu'il n'y a aucune bonne raison d'utiliser les p values. Ils ont montré que l'une des meilleures raisons d'utiliser les p values était en fait erronée.'
--------- Original ---------
ABSTRACT. Some supporters of the null hypothesis significance testing procedure recognize that the logic on which it depends is invalid because it only produces the probability of the data if given the null hypothesis and not the probability of the null hypothesis if given the data (e.g., J. Krueger, 2001). However, the supporters argue that the procedure is good enough because they believe that the probability of the data if given the null hypothesis correlates with the probability of the null hypothesis if given the data. The present authors’ main goal was to test the size of the alleged correlation. To date, no other researchers have done so. The present findings indicate that the correlation is unimpressive and fails to provide a compelling justification for computing p values. Furthermore, as the significance rule becomes more stringent (e.g., .01, .001), the correlation decreases.'Les p values sont couramment utilisées dans la recherche pour tester des hypothèses, qui sont des prédictions sur le fonctionnement de quelque chose. Une p value mesure combien les résultats de votre expérience sont probables s'il n'y a aucun effet de votre expérience (l'hypothèse nulle est vraie). Beaucoup supposent qu'une faible p value signifie aussi que l'hypothèse nulle est peu probable. Mais cette supposition n'a pas vraiment été testée. Ce document a testé cette supposition. Ils ont constaté que la corrélation entre les p values et la probabilité que l'hypothèse nulle soit vraie est en fait plutôt faible. Ainsi, les p values ne nous en disent pas autant sur la probabilité de l'hypothèse nulle que les gens le supposent. Les auteurs ont considéré certaines alternatives aux p values : Calculer la probabilité qu'une expérience se reproduise Utiliser le théorème de Bayes pour calculer directement la probabilité que l'hypothèse nulle soit vraie, ce qui implique de prendre en compte la probabilité que l'hypothèse nulle était vraie avant l'expérience Comparer les hypothèses en utilisant des "rapports épistémiques". Il y a des arguments en faveur de chacune de ces idées, mais aussi des inconvénients. Les auteurs soutiennent que l'utilisation routinière des p values dans la recherche n'est pas bien justifiée. Ce document a invalidé un argument important en faveur des p values, à savoir qu'une p value implique une connaissance de la vérité d'une hypothèse nulle. Instruction à domicile : Titre : Comprendre et dépanner les codes d'erreur HTTP : un module d'apprentissage à domicile Objectif : Équiper les parents de connaissances sur le dépannage d'internet, plus précisément sur les codes d'erreur HTTP, pour soutenir l'instruction à domicile de leurs enfants. Outils requis : Appareil compatible avec Internet (ordinateur/ordinateur portable/tablette), Matériaux et ressources en ligne, Outils de simulation (facultatif) Guide du programme : Semaine 1 : Introduction et bases de la navigation sur Internet - Comprendre le World Wide Web - Comment fonctionnent les moteurs de recherche - Comprendre les URL Semaine 2 : Introduction à HTTP - Qu'est-ce que HTTP ? - Le rôle de HTTP dans la navigation sur Internet - Méthodes HTTP courantes Semaine 3 : Comprendre les codes de statut HTTP - Qu'est-ce que les codes de statut HTTP ? - Classes de codes de statut HTTP - Codes de statut HTTP courants et leurs significations Semaine 4 : Plongée en profondeur dans le code d'erreur HTTP 403 : Interdit - Expliquer le code d'erreur HTTP 403 : Interdit - Causes des erreurs HTTP 403 - Comment résoudre les erreurs 403 côté serveur - Exercice pratique : Identification et réaction à une erreur 403 Semaine 5 : Guide de dépannage pour les erreurs HTTP - Conseils généraux de dépannage pour les erreurs HTTP - Solutions spécifiques pour les erreurs HTTP 403 - Comment demander de l'aide en cas de problèmes avec Internet - Activité finale : Création d'un guide de dépannage Le guide du programme ci-dessus est susceptible d'ajustements car les parents peuvent avoir différents niveaux de connaissances préalables et de technicité. Le rythme des leçons peut également être adapté en fonction de la rétention et de la compréhension de l'apprenant. Des ressources sont également librement disponibles sur une gamme de plateformes en ligne qui couvrent à la fois la théorie et les éléments pratiques de la gestion des erreurs HTTP. En fin de compte, l'objectif est d'habiliter les parents à dépanner les erreurs Internet de base que leurs enfants pourraient rencontrer lors de l'instruction à domicile.'
