A Test of the Null Hypothesis Significance Testing Procedure Correlation Argument
By David Trafimow
Summary
' Un p value calcola la probabilità di un insieme di dati se l'ipotesi nulla è vera: P(F|H0). Le persone suppongono che ci sia una forte correlazione tra la probabilità dei risultati data l'ipotesi nulla e il contrario: la probabilità dell'ipotesi dati i risultati: P(H0|F). Questo articolo del 2009 di David Trafimow e Stephen Rice è il primo a verificare se questa assunzione è effettivamente vera. I loro risultati suggeriscono che la correlazione è "non impressionante" e non offre giustificazioni per l'uso dei p value. La procedura di test di significatività dell'ipotesi nulla (NHSTP) ha generato molte controversie negli ultimi anni. Questa procedura ampiamente utilizzata prevede: Definire un'ipotesi nulla e un'ipotesi alternativa. Raccogliere dati per testare queste ipotesi. Calcolare un p value. Un p value è la probabilità dei dati osservati, o qualcosa di più estremo, se l'ipotesi nulla è vera. Un valore basso (inferiore a 0.05) significa convenzionalmente che un ricercatore può rifiutare l'ipotesi nulla a favore dell'ipotesi alternativa. L'argomento più forte contro il p value è che è logicamente invalido. Se un risultato raro è stato ottenuto sotto l'assunzione che l'ipotesi nulla sia vera, ciò non prova conclusivamente che l'ipotesi nulla sia falsa. In altre parole, un piccolo p value, P(F|H0), non comporta una piccola probabilità dell'ipotesi dati i risultati, P(H0|F). Per ottenere questo, P(H0|F), è necessario conoscere la probabilità a priori dell'ipotesi. Ciò comporta l'uso del teorema di Bayes. Per rifiutare un'ipotesi nulla sulla base di un piccolo p value, è necessaria un'assunzione aggiuntiva: che esista una correlazione tra la probabilità dei dati data l'ipotesi nulla e la probabilità dell'ipotesi nulla dati i dati. Gli autori si propongono di verificare se esiste o meno una forte correlazione in questo caso. Per eseguire questo test, gli autori avevano bisogno di conoscere tre valori chiave: la probabilità dei dati data l'ipotesi nulla è vera, P(F|H0), la probabilità a priori dell'ipotesi, P(H0), e la probabilità dei dati se l'ipotesi nulla non è vera, P(H0|F). Il primo di questi è semplicemente il p value e può essere determinato direttamente dall'esperimento. Il secondo è più complicato. Nella maggior parte dei casi, i ricercatori devono fare ipotesi soggettive per determinare una probabilità a priori. E nel terzo, ci sono quasi infinite possibilità che un'ipotesi possa essere falsa. Tuttavia, gli autori sono stati in grado di modellare gli effetti dell'assunzione di varie ipotesi e vedere come influenzano i risultati. Hanno calcolato tutti e tre i valori chiave per 65.000 set di dati generati casualmente. L'analisi ha rilevato una correlazione molto debole (r = .410) tra la probabilità dei dati data l'ipotesi nulla, P(F|H0), e la probabilità dell'ipotesi nulla dati i dati, P(H0|F). La soglia di probabilità per questa analisi è stata fissata a .05 per ciascun valore. Il risultato di questa analisi è che il p value non tiene conto della maggior parte (84%) della varianza nella probabilità dell'ipotesi nulla dati i dati, P(H0|F). Pertanto, la presunta correlazione tra il p value e P(H0|F) non è una "giustificazione convincente per l'uso routinario dei p value nella ricerca in scienze sociali". Prendono in considerazione diverse proposte. Una è sostituire i p value con un calcolo della probabilità di replica, prep. Questo calcola la probabilità che un secondo esperimento con condizioni identiche al primo trovi risultati che vanno nella stessa direzione del primo esperimento. Gli autori criticano il prep perché non tiene conto delle distribuzioni di probabilità a priori. E hanno fatto un'analisi del prep simile all'analisi sopra descritta dei p value e i risultati sono stati deludenti. Non è chiaro se questo test misuri anche la probabilità di una replica. Un'altra alternativa ai p value è il teorema di Bayes. Questo darebbe ai psicologi quello che stanno cercando: la probabilità dell'ipotesi nulla dati i loro risultati, P(H0|F). Tuttavia, gli autori vedono tre potenziali problemi: (1) non c'è un modo concordato per determinare la probabilità a priori dell'ipotesi nulla, P(H0); (2) non è chiaro come determinare la probabilità del ritrovamento dato che l'ipotesi nulla non è vera, P(F|~H0), poiché un'ipotesi può essere falsa in quasi infinite possibilità; (3) il teorema di Bayes interpreta la probabilità come un grado di credenza razionale piuttosto che una frequenza prevista. Ciò comporta una serie di complicazioni non risolte. Un autore di questo articolo, Trafimow ha proposto un metodo alternativo basato sui rapporti epistemici. Viene descritto brevemente in questo articolo. Ha un "sapore bayesiano", ma è compatibile con le interpretazioni frequentiste della probabilità. Coinvolge il confronto tra due ipotesi in competizione. Determinare la probabilità dei risultati dati una delle ipotesi in competizione è facilmente determinabile. Il rapporto epistemico delle ipotesi può poi essere confrontato per aiutare un ricercatore a decidere quale ipotesi sia''più favorevole. I suoi svantaggi sono che richiede ai ricercatori di ideare molteplici ipotesi e non calcola la probabilità di alcuna ipotesi data la scoperta. Gli autori concludono che molte analisi precedenti del NHSTP non sono arrivate al cuore del problema. I sostenitori hanno spesso affermato una correlazione tra la probabilità dei dati data l'ipotesi nulla, il p value, e la probabilità dell'ipotesi nulla data la scoperta, P(H0|F). Ma non hanno mai fornito alcuna prova che la correlazione esista effettivamente. Questo articolo ha messo alla prova la sperata correlazione e ha fallito.'
'I valori di p sono utilizzati dagli scienziati per testare le loro ipotesi, che sono idee su come qualcosa nel mondo potrebbe funzionare. Un valore di p misura quanto probabili sono i risultati di un esperimento se l'ipotesi nulla è vera. L'ipotesi nulla significa che qualsiasi cosa tu abbia fatto nel tuo esperimento non ha avuto effetto. Un basso valore di p significa che il risultato di un esperimento era improbabile se l'ipotesi nulla è vera. Molte persone presuppongono che un basso valore di p significhi anche che l'ipotesi nulla è falsa. Ma nessuno ha veramente testato se questo era vero o meno fino ad ora. Gli autori di questo paper hanno fatto il test e hanno scoperto che i valori di p e la probabilità dell'ipotesi nulla non sono strettamente correlati. Trovare un piccolo valore di p non significa che l'ipotesi nulla sia sbagliata. Gli autori hanno anche considerato alcune alternative al valore di p: Capire quanto probabilmente un esperimento mostrerà lo stesso risultato se lo si fa di nuovo Utilizzando qualcosa chiamato Teorema di Bayes che determina la probabilità di un'ipotesi nulla. Implica capire quanto probabile era l'ipotesi nulla prima dell'esperimento. Un altro metodo dove si confrontano due diverse ipotesi per vedere quale spiega meglio i risultati di un esperimento Ognuno di questi metodi è buono in qualche modo, ma ha anche dei lati negativi. Gli autori di questo paper sostengono che non c'è una buona ragione per utilizzare i valori di p. Hanno dimostrato che uno dei migliori motivi per utilizzare i valori di p era effettivamente sbagliato.'
--------- Original ---------
ABSTRACT. Some supporters of the null hypothesis significance testing procedure recognize that the logic on which it depends is invalid because it only produces the probability of the data if given the null hypothesis and not the probability of the null hypothesis if given the data (e.g., J. Krueger, 2001). However, the supporters argue that the procedure is good enough because they believe that the probability of the data if given the null hypothesis correlates with the probability of the null hypothesis if given the data. The present authors’ main goal was to test the size of the alleged correlation. To date, no other researchers have done so. The present findings indicate that the correlation is unimpressive and fails to provide a compelling justification for computing p values. Furthermore, as the significance rule becomes more stringent (e.g., .01, .001), the correlation decreases.'I valori p vengono comunemente utilizzati nella ricerca per testare le ipotesi, che sono previsioni su come funziona qualcosa. Un valore p misura quanto probabile sono i risultati del tuo esperimento se non c'è alcun effetto del tuo esperimento (l'ipotesi nulla è vera). Molti assumono che un basso valore p significhi anche che l'ipotesi nulla è improbabile che sia vera. Ma questa supposizione non è stata davvero testata. Questo paper ha testato quella supposizione. Hanno scoperto che la correlazione tra i valori p e la probabilità che l'ipotesi nulla sia vera è in realtà piuttosto debole. Quindi i valori p non ci dicono tanto sulla probabilità dell'ipotesi nulla come le persone suppongono. Gli autori hanno considerato alcune alternative ai valori p: Calcolo della probabilità che un esperimento si replichi Usando il teorema di Bayes per calcolare direttamente la probabilità dell'ipotesi nulla che sia vera, che implica il calcolo di quanto probabile era l'ipotesi nulla prima dell'esperimento Confronto delle ipotesi utilizzando "rapporti epistemici" Ci sono punti a favore di ciascuna di queste idee, ma anche svantaggi. Gli autori sostengono che l'uso routinario dei valori p nella ricerca non è ben giustificato. Questo paper ha invalidato un importante argomento a favore dei valori p, che è che un valore p implica conoscenza sulla verità di un'ipotesi nulla. Istruzione domiciliare: Titolo: Comprensione e risoluzione dei codici di errore HTTP: un modulo di apprendimento domiciliare Obiettivo: Fornire ai genitori conoscenze sulla risoluzione dei problemi di internet, in particolare sui codici di errore HTTP, per supportare l'istruzione domiciliare dei loro figli. Strumenti necessari: dispositivo con connessione internet (computer/laptop/tablet), materiali e risorse online, strumenti di simulazione (facoltativo) Guida al curriculum: Settimana 1: Introduzione e fondamenti della navigazione in internet - Comprensione del World Wide Web - Come funzionano i motori di ricerca - Comprensione degli URL Settimana 2: Introduzione a HTTP - Che cos'è HTTP? - Il ruolo di HTTP nella navigazione in internet - Metodi HTTP comuni Settimana 3: Comprensione dei codici di stato HTTP - Cosa sono i codici di stato HTTP? - Classi di codici di stato HTTP - Codici di stato HTTP comuni e loro significati Settimana 4: Approfondimento dell'errore HTTP 403: Forbidden - Spiegazione del codice di errore HTTP 403: Forbidden - Cause degli errori HTTP 403 - Come risolvere gli errori 403 lato server - Esercitazione pratica: identificazione e reazione all'errore 403 Settimana 5: Guida alla risoluzione dei problemi per gli errori HTTP - Suggerimenti generali per la risoluzione dei problemi per gli errori HTTP - Soluzioni specifiche per gli errori HTTP 403 - Come cercare aiuto quando si riscontrano errori di internet - Attività finale: Creazione di una guida alla risoluzione dei problemi La guida al curriculum sopra indicata è soggetta a modifiche in quanto i genitori potrebbero avere livelli variabili di conoscenze pregresse e abilità tecnologiche. Il ritmo delle lezioni può anche essere adattato in base alla ritenzione e alla comprensione dell'apprendista. Le risorse sono anche liberamente disponibili da una serie di piattaforme online che coprono sia la teoria che gli elementi pratici per affrontare gli errori HTTP. In definitiva, l'obiettivo è dotare i genitori della capacità di risolvere gli errori di internet di base che i loro figli potrebbero incontrare durante l'istruzione domiciliare.'
