The Replacement for Hypothesis Testing

By David Trafimow

Summary

'Os autores deste artigo, Briggs, Nguyen e Tramifow, reconhecem o problema bem reconhecido inerente aos p values e aos fatores de Bayes. Esses métodos padrão da indústria levam a uma certeza excessiva e a crença de que a causa foi comprovada quando não foi. Como solução, este artigo propõe um retorno a um método probabilístico tradicional consistindo em três passos: Fazer previsões diretas de modelos para observáveis. Pesar as evidências pelo seu impacto na força preditiva. Verificar previsões contra a realidade. O desejo de qualquer cientista que realiza um teste de hipótese é avaliar a verdade e utilidade de uma hipótese. Ambos os métodos atuais não alcançam esse objetivo. Os p values não podem avaliar a verdade de uma hipótese por design, pois foram destinados apenas para falsificar uma hipótese. Os fatores de Bayes se concentram em parâmetros não observados, então podem exagerar a força das evidências. Um ponto-chave que os autores fazem é que os modelos estatísticos só podem encontrar correlações entre os observáveis, mas eles não podem identificar relações causais. Isso é bem conhecido entre os estatísticos, mas muitos pesquisadores acreditam que um teste de hipótese faz o que seu nome implica: testar a validade de uma hipótese. Mesmo que um p value não possa julgar a verdade ou falsidade de uma hipótese, muitos cientistas o utilizam de maneira ritualística (como descrito por Gigerenzer). Os autores acreditam que os p values são tão mal utilizados que devem ser abandonados. Sua crítica dos fatores de Bayes é que eles se concentram em parâmetros, cuja certeza sempre excede a certeza dos observáveis. No entanto, qualquer incerteza nos parâmetros alimenta o modelo e amplifica a incerteza dos observáveis. A filosofia apresentada neste artigo enfatiza que a probabilidade é condicional e não causal. Concentra-se em observáveis e fatores mensuráveis que influenciam os observáveis. Os autores compartilham seu próprio esquema para fazer previsões quantificáveis, a seguinte fórmula: Pr(y ∈ s | X, D, M) A fórmula calcula a probabilidade de y, que é um membro do subconjunto s (y ∈ s). Por exemplo, y poderia ser um lado específico de um dado e s seria o conjunto de lados: 1, 2…6. À direita da barra vertical, você tem as condições do cálculo de probabilidade. D é opcional e representa quaisquer dados existentes relevantes. M são as premissas que compõem o modelo. E X representa quaisquer novos valores de medição. O processo de construção do modelo geralmente começa com a definição de M. Qualquer premissa relevante para a probabilidade e suas relações lógicas com outras premissas deve ser definida. Este é um processo que envolve substancialmente o julgamento do pesquisador para determinar quais premissas são relevantes e quais são excluídas. Os autores lamentam que os pesquisadores raramente testem essas suposições. Os construtores de modelos devem testar seus modelos para ver se cada premissa adicional tem um impacto mensurável na probabilidade y em algum ponto x. Se uma premissa não tem efeito sobre as previsões, então ela é rejeitada. O artigo aponta que os defensores fervorosos dos p values e dos fatores de Bayes não seguem rigorosamente suas próprias regras. Para fazer isso, eles teriam que calcular um p value para cada hipótese possível antes de descartá-la. Há um suprimento interminável de hipóteses potenciais, então esse processo nunca terminaria. O método apresentado aqui é consistente com suas próprias regras. Uma vantagem dessa abordagem é que as estimativas de parâmetros não observáveis são desnecessárias. Este processo baseado em previsão unifica teste e estimativa. Essa abordagem pode tanto testar o modelo em si quanto a relevância dos dados inseridos nele. Os autores apresentam duas aplicações deste método. Ambas são adaptadas de artigos que foram escritos usando métodos convencionais. O primeiro foi um estudo sobre como as pessoas se lembravam das marcas mostradas nos anúncios antes de um filme. Investigou se o gênero do filme impactava o recall dos participantes. Foi detectado um p value significativo para o gênero drama, mas não para os outros. O artigo publicado divulgou a descoberta de que o recall da marca era aprimorado ao assistir filmes dramáticos. A análise dos próprios autores revelou diferenças na probabilidade baseada no sexo do espectador e no gênero do filme. Algumas destas não foram notadas na análise do p value. Os autores deixam para os leitores deste artigo decidir se essas diferenças são significativas. O segundo exemplo faz previsões de salários acadêmicos com base no departamento, sexo, anos desde o PhD e anos de experiência. Eles apresentam uma análise ANOVA padrão e a comparam com sua própria análise ANOVA preditiva. Os resultados são muito mais claramente interpretáveis. E o próprio método é mais flexível e pode responder melhor a perguntas de interesse para os tomadores de decisão. Os autores concluem que esta abordagem preditiva, embora superior ao teste de hipóteses convencional, não resolve todos os problemas. Os pesquisadores ainda anseiam por automação e respostas definitivas. Este método requer mais trabalho e não elicia um número mágico denotando significância. Em vez disso, calcula-se facilmente entendido''valores de probabilidade, que podem ser usados para tomar decisões. Um bom modelo facilitará boas decisões. Além disso, o funcionamento interno de um modelo é tornado transparente por este método. O ponto mais importante é que os modelos devem ser testados e verificados. Isso não garante que uma teoria seja verdadeira ou única, pois é sempre possível gerar mais teorias para se ajustar a um conjunto de dados. Mas isso torna provável que um modelo que tenha tido bom desempenho no passado continue a ser útil no futuro.'

• Beginner
• Intermediate
• Original