A Test of the Null Hypothesis Significance Testing Procedure Correlation Argument
By David Trafimow
Summary
'Um valor de p calcula a probabilidade de um conjunto de dados se a hipótese nula for verdadeira: P(F|H0). As pessoas supõem que existe uma alta correlação entre a probabilidade das descobertas dadas a hipótese nula e o inverso: a probabilidade da hipótese dada as descobertas: P(H0|F). Este artigo de 2009 de David Trafimow e Stephen Rice é o primeiro a testar se esta suposição é realmente verdadeira. Suas descobertas sugerem que a correlação é "pouco impressionante" e não oferece nenhuma justificação para o uso de valores de p. O procedimento de teste de significância da hipótese nula (NHSTP) tem gerado muita controvérsia nos últimos anos. Este procedimento amplamente utilizado envolve: Definir uma hipótese nula e uma hipótese alternativa. Coletar dados para testar estas hipóteses. Calcular um valor de p. Um valor de p é a probabilidade dos dados observados, ou algo mais extremo, se a hipótese nula for verdadeira. Um valor baixo (menos de 0,05) convencionalmente significa que um pesquisador pode rejeitar a hipótese nula em favor da hipótese alternativa. O argumento mais forte contra o valor de p é que ele é logicamente inválido. Se uma descoberta rara foi obtida sob a suposição de que a hipótese nula é verdadeira, isso não prova conclusivamente que a hipótese nula é falsa. Em outras palavras, um pequeno valor de p, P(F|H0), não implica uma pequena probabilidade da hipótese dada as descobertas, P(H0|F). Para obter isso, P(H0|F), é preciso conhecer a probabilidade anterior da hipótese. Isso envolve o uso do teorema de Bayes. Rejeitar uma hipótese nula com base em um pequeno valor de p requer uma suposição adicional: que há uma correlação entre a probabilidade dos dados dada a hipótese nula e a probabilidade da hipótese nula dada os dados. Os autores se propuseram a testar se há uma forte correlação aqui ou não. Para executar este teste, os autores precisaram conhecer três valores-chave: a probabilidade dos dados se a hipótese nula for verdadeira, P(F|H0), a probabilidade anterior da hipótese, P(H0), e a probabilidade dos dados se a hipótese nula não for verdadeira, P(H0|F). O primeiro deles é simplesmente o valor de p e pode ser determinado diretamente a partir do experimento. O segundo é mais complicado. Na maioria dos casos, os pesquisadores têm que fazer suposições subjetivas para determinar uma probabilidade anterior. E no terceiro, existem quase infinitas maneiras de uma hipótese poder ser falsa. No entanto, os autores conseguiram modelar os efeitos de fazer várias suposições e ver como eles afetam os resultados. Eles calcularam todos os três valores-chave para 65.000 conjuntos de dados gerados aleatoriamente. A análise encontrou uma correlação muito fraca (r = .410) entre a probabilidade dos dados dada a hipótese nula, P(F|H0), e a probabilidade da hipótese nula dada os dados, P(H0|F). O limiar de probabilidade para esta análise foi fixado em .05 para cada valor. O resultado desta análise é que o valor de p não contabiliza a maior parte (84%) da variância na probabilidade da hipótese nula dada os dados, P(H0|F). Portanto, a suposta correlação entre o valor de p e P(H0|F) não é uma "justificação convincente para o uso rotineiro de valores de p na pesquisa em ciências sociais". Eles consideram algumas sugestões diferentes. Uma delas é substituir os valores de p por um cálculo da probabilidade de replicação, prep. Isso calcula a probabilidade de que um segundo experimento com condições idênticas ao primeiro encontrará resultados indo na mesma direção que o primeiro experimento. Os autores criticam o prep porque ele não considera as distribuições de probabilidade anteriores. E eles fizeram uma análise do prep similar à análise acima dos valores de p e os resultados foram decepcionantes. Não está claro se este teste até mesmo mede a probabilidade de uma replicação. Outra alternativa aos valores de p é o teorema de Bayes. Isso daria aos psicólogos o que eles estão procurando: a probabilidade da hipótese nula dada suas descobertas, P(H0|F). No entanto, os autores veem três problemas potenciais: (1) não há uma maneira acordada de determinar a probabilidade anterior da hipótese nula, P(H0); (2) não está claro como determinar a probabilidade da descoberta dada a hipótese nula não é verdadeira, P(F|~H0), já que uma hipótese pode ser falsa de quase infinitas maneiras; (3) o teorema de Bayes interpreta a probabilidade como um grau de crença racional e não como uma frequência esperada. Isso resulta em uma variedade de complicações não resolvidas. Um dos autores deste artigo, Trafimow propôs um método alternativo baseado em razões epistêmicas. Ele é descrito brevemente neste artigo. Ele tem um "sabor bayesiano", mas é compatível com as interpretações frequentistas de probabilidade. Envolve a comparação de duas hipóteses concorrentes. Determinar a probabilidade das descobertas dadas qualquer uma das hipóteses concorrentes é facilmente determinado. A razão epistêmica das hipóteses pode então ser comparada para ajudar um pesquisador a decidir qual hipótese é''mais favorável. Suas desvantagens são que exige que os pesquisadores elaborem várias hipóteses e não calcula a probabilidade de qualquer hipótese dada as descobertas. Os autores concluem que muitas análises anteriores do NHSTP não chegaram ao cerne da questão. Os proponentes muitas vezes afirmaram uma correlação entre a probabilidade dos dados dada a hipótese nula, o p value, e a probabilidade da hipótese nula dada os dados, P(H0|F). Mas nunca forneceram qualquer evidência de que a correlação realmente exista. Este artigo submeteu a esperada correlação ao teste e ela falhou.'
'Os p values são utilizados por cientistas para testar suas hipóteses, que são ideias sobre como algo no mundo pode funcionar. Um p value mede quão prováveis são os resultados de um experimento se a hipótese nula for verdadeira. A hipótese nula significa que tudo que você fez no seu experimento não teve efeito. Um p value baixo significa que o resultado de um experimento foi improvável se a hipótese nula for verdadeira. Muitas pessoas presumem que um p value baixo também significa que a hipótese nula é falsa. Mas ninguém realmente testou se isso era verdade ou não até agora. Os autores deste artigo fizeram o teste e descobriram que os p values e a probabilidade da hipótese nula não estão intimamente relacionados. Encontrar um p value pequeno não significa que a hipótese nula está errada. Os autores também consideraram algumas alternativas para o p value: Descobrir quão provável é um experimento mostrar o mesmo resultado se você o fizer novamente Usando algo chamado Teorema de Bayes que descobre a probabilidade de uma hipótese nula. Isso envolve descobrir quão provável era a hipótese nula antes do experimento. Outro método onde você compara duas hipóteses diferentes para ver qual explica os resultados de um experimento melhor Cada um desses métodos é bom de alguma maneira, mas tem algumas desvantagens também. Os autores deste artigo argumentam que não há uma boa razão para usar p values. Eles demonstraram que um dos melhores motivos para usar p values estava realmente errado.'
--------- Original ---------
ABSTRACT. Some supporters of the null hypothesis significance testing procedure recognize that the logic on which it depends is invalid because it only produces the probability of the data if given the null hypothesis and not the probability of the null hypothesis if given the data (e.g., J. Krueger, 2001). However, the supporters argue that the procedure is good enough because they believe that the probability of the data if given the null hypothesis correlates with the probability of the null hypothesis if given the data. The present authors’ main goal was to test the size of the alleged correlation. To date, no other researchers have done so. The present findings indicate that the correlation is unimpressive and fails to provide a compelling justification for computing p values. Furthermore, as the significance rule becomes more stringent (e.g., .01, .001), the correlation decreases.'Os valores p são comumente usados na pesquisa para testar hipóteses, que são previsões sobre como algo funciona. Um valor p mede quão prováveis são os resultados do seu experimento se não houver efeito do seu experimento (a hipótese nula é verdadeira). Muitos assumem que um valor p baixo também significa que a hipótese nula tem pouca probabilidade de ser verdadeira. Mas essa suposição realmente não foi testada. Este artigo testou essa suposição. Eles descobriram que a correlação entre os valores p e a probabilidade de a hipótese nula ser verdadeira é realmente bastante fraca. Portanto, os valores p não nos dizem tanto sobre a probabilidade da hipótese nula quanto as pessoas assumem. Os autores consideraram algumas alternativas aos valores p: Calculando a probabilidade de um experimento se repetir Usando o teorema de Bayes para calcular diretamente a probabilidade de a hipótese nula ser verdadeira, o que envolve avaliar quão provável era a hipótese nula antes do experimento Comparando hipóteses usando "razões epistêmicas" Há pontos a favor de cada uma dessas ideias, mas também desvantagens. Os autores argumentam que o uso rotineiro de valores p na pesquisa não é bem justificado. Este artigo invalidou um argumento importante a favor dos valores p, que é que um valor p implica conhecimento sobre a verdade de uma hipótese nula. Homeschool: Título: Compreendendo e Solucionando Códigos de Erro HTTP: Um Módulo de Aprendizado Doméstico Objetivo: Equipar os pais com conhecimento sobre a solução de problemas da internet, especificamente sobre Códigos de Erro HTTP, para apoiar o homeschooling de seus filhos. Ferramentas necessárias: Dispositivo com internet (computador / laptop / tablet), Materiais e recursos online, Ferramentas de simulação (opcional) Guia do Currículo: Semana 1: Introdução e Fundamentos da Navegação na Internet - Compreendendo a World Wide Web - Como funcionam os mecanismos de busca - Compreendendo URLs Semana 2: Introdução ao HTTP - O que é HTTP? - O papel do HTTP na navegação na Internet - Métodos comuns de HTTP Semana 3: Compreendendo Códigos de Status HTTP - O que são Códigos de Status HTTP? - Classes de Códigos de Status HTTP - Códigos de Status HTTP Comuns e seus Significados Semana 4: Mergulho Profundo no Erro HTTP 403: Proibido - Explicando o Código de Erro HTTP 403: Proibido - Causas dos Erros HTTP 403 - Como Resolver Erros 403 do Lado do Servidor - Atividade prática: Identificando e Reagindo ao erro 403 Semana 5: Guia de Solução de Problemas para Erros HTTP - Dicas Gerais de Solução de Problemas para Erros HTTP - Soluções Específicas para Erros HTTP 403 - Como Pedir Ajuda ao Enfrentar Erros na Internet - Atividade Final: Criando um Guia de Solução de Problemas O guia curricular acima está sujeito a ajustes, já que os pais podem ter diferentes níveis de conhecimento prévio e familiaridade com tecnologia. O ritmo das lições também pode ser adaptado dependendo da retenção e compreensão do aluno. Recursos também estão livremente disponíveis em uma variedade de plataformas online que cobrem tanto a teoria quanto os elementos práticos de lidar com erros HTTP. Em última análise, o objetivo é capacitar os pais com a capacidade de solucionar erros básicos da internet que seus filhos possam enfrentar durante o homeschooling.'
