The Replacement for Hypothesis Testing

By David Trafimow

Summary

'Gli autori di questo documento, Briggs, Nguyen e Tramifow, riconoscono il problema ben noto insito nei p values e nei fattori di Bayes. Questi metodi standard del settore portano a un'eccessiva certezza e alla convinzione che una causa sia stata dimostrata quando non lo è. Come soluzione, questo documento propone un ritorno a un metodo probabilistico tradizionale composto da tre passaggi: fare previsioni dirette dai modelli agli osservabili. Ponderare le prove in base al loro impatto sulla forza predittiva. Verificare le previsioni contro la realtà. Il desiderio di qualsiasi scienziato che conduce un test ipotesi è valutare la verità e l'utilità di un'ipotesi. Entrambi i metodi attuali non raggiungono questo obiettivo. I p values non possono valutare la verità di un'ipotesi per progettazione, poiché erano destinati solo a falsificare un'ipotesi. I fattori di Bayes si concentrano su parametri non osservati, quindi possono esagerare la forza delle prove. Un punto chiave che gli autori fanno è che i modelli statistici possono trovare solo correlazioni tra osservabili, ma non possono identificare relazioni causali. Questo è ben noto tra gli statistici, ma molti ricercatori credono che un test ipotesi faccia quello che il suo nome implica: testare la validità di un'ipotesi. Anche se un p value non può giudicare la verità o la falsità di un'ipotesi, molti scienziati lo usano in modo ritualistico (come descritto da Gigerenzer). Gli autori ritengono che i p values siano così abusati che dovrebbero essere abbandonati. La loro critica ai fattori di Bayes è che si concentrano sui parametri, la cui certezza supera sempre la certezza degli osservabili. Tuttavia, qualsiasi incertezza nei parametri si traduce nel modello e amplifica l'incertezza degli osservabili. La filosofia presentata in questo documento sottolinea che la probabilità è condizionale e non causale. Si concentra sugli osservabili e sui fattori misurabili che influenzano gli osservabili. Gli autori condividono il loro schema per fare previsioni quantificabili, la seguente formula: Pr(y ∈ s|X, D, M) La formula calcola la probabilità di y, che è un membro del sottoinsieme s (y ∈ s). Ad esempio, y potrebbe essere una faccia specifica di un dado e s sarebbe l'insieme di facce: 1, 2 ... 6. Sul lato destro della barra verticale, hai le condizioni del calcolo della probabilità. D è opzionale e rappresenta qualsiasi dato esistente rilevante. M sono le premesse che compongono il modello. E X rappresenta qualsiasi nuovo valore di misurazione. Il processo di costruzione del modello inizia di solito con la definizione di M. Qualsiasi premessa rilevante per la probabilità e le sue relazioni logiche con altre premesse devono essere definite. Questo è un processo che coinvolge sostanzialmente il giudizio del ricercatore per determinare quali premesse sono rilevanti e quali sono escluse. Gli autori deplorano che i ricercatori testino raramente queste ipotesi. I costruttori di modelli dovrebbero testare i loro modelli per vedere se ogni premessa aggiuntiva ha un impatto misurabile sulla probabilità y in qualche punto x. Se una premessa non ha alcun effetto sulle previsioni, viene respinta. Il documento sottolinea che gli ardenti sostenitori dei p values e dei fattori di Bayes non seguono rigorosamente le loro stesse regole. Per farlo, dovrebbero calcolare un p value per ogni possibile ipotesi prima di escluderla. C'è una fornitura infinita di ipotesi potenziali, quindi questo processo non finirebbe mai. Il metodo presentato qui è coerente con le sue stesse regole. Un vantaggio di questo approccio è che le stime dei parametri non osservabili sono superflue. Questo processo basato sulla previsione unifica il testing e la stima. Questo approccio può sia testare il modello stesso che la rilevanza dei dati che vengono immessi in esso. Gli autori presentano due applicazioni di questo metodo. Entrambi sono adattati da articoli che erano stati scritti utilizzando metodi convenzionali. Il primo era uno studio su quanto bene le persone ricordavano i marchi mostrati nelle pubblicità prima di un film. Ha indagato se il genere del film influenzasse il ricordo dei partecipanti. È stato rilevato un p value significativo per il genere drammatico, ma non per gli altri. L'articolo pubblicato ha esaltato il ritrovamento che il ricordo del marchio è stato potenziato guardando film drammatici. La propria analisi degli autori ha scoperto differenze di probabilità basate sul sesso dello spettatore e sul genere del film. Alcune di queste non sono state notate nell'analisi del p value. Gli autori lasciano ai lettori di questo documento di decidere se queste differenze sono significative. Il secondo esempio fa previsioni sui salari accademici basate su dipartimento, sesso, anni dal dottorato e anni di esperienza. Presentano un'analisi ANOVA standard e la confrontano con la loro propria analisi predittiva ANOVA. I risultati sono molto più chiaramente interpretabili. E il metodo stesso è più flessibile e può rispondere meglio alle domande di interesse per i decision maker. Gli autori concludono che questo approccio predittivo, sebbene superiore ai test ipotesi convenzionali, non risolve tutti i problemi. I ricercatori desiderano ancora automazione e risposte definite. Questo metodo richiede più lavoro e non produce un numero magico che denota la significatività. Invece, calcola facilmente capito''valori di probabilità, che possono essere utilizzati per prendere decisioni. Un buon modello faciliterà buone decisioni. Inoltre, il funzionamento interno di un modello è reso trasparente da questo metodo. Il punto più importante è che i modelli devono essere testati e verificati. Questo non è una garanzia che una teoria sia vera o unica, poiché è sempre possibile generare più teorie per adattarsi a un set di dati. Ma rende probabile che un modello che ha funzionato bene in passato continuerà ad essere utile in futuro.'

• Beginner
• Intermediate
• Original