Over-Certainties In Global Estimates of Vaccine Efficacy
By William Briggs
Summary
'Neste artigo, o estatístico William Briggs analisa um estudo que visava quantificar o impacto global das vacinas COVID-19 no primeiro ano em que estavam disponíveis (2021). Briggs argumenta que o modelo matemático do estudo é falho porque assume que as vacinas COVID funcionam, em vez de testar se elas funcionam. O modelo presume que as vacinas reduzem infecções graves que levam à hospitalização ou morte e previnem a transmissão. No entanto, o modelo não leva em conta infecções anteriores de COVID, que eram generalizadas na época em que as vacinas foram implementadas. Isso significa que o modelo provavelmente superestima a eficácia da vacina, atribuindo mortes reduzidas às vacinas, mas ignora o impacto da imunidade natural adquirida através de uma infecção anterior. Briggs também critica o uso do estudo de “mortes em excesso”, que compara o número real de mortes em um determinado ano com o número de mortes previsto por um modelo. Além disso, o modelo presume que todas as mortes em excesso estavam relacionadas ao COVID. Muitos dos fatores que levaram a um maior número de mortes em excesso em 2020 - como o pânico, os efeitos adversos dos bloqueios e o tratamento excessivamente agressivo nos primeiros casos de COVID - foram reduzidos em 2021, o ano deste estudo. Ao não levar em conta a redução desses fatores, o estudo provavelmente superestima a eficácia da vacina. Muitas fontes de incerteza foram ignoradas por este estudo. Mortes em excesso são uma estimativa com um nível de erro. Mas essa incerteza não foi considerada em seu cálculo do número de vidas salvas pela vacina. A análise país por país deste artigo também ignora muitas diferenças importantes entre os países, como a idade e a saúde de suas populações, políticas governamentais, diferentes vacinas, e mais. No geral, Briggs argumenta que, ao deixar de fora muitos pontos de dados importantes, o estudo provavelmente exagera a eficácia da vacina. Devido aos muitos fatores confusos apresentados aqui, é quase impossível quantificar com precisão a eficácia da vacina.'
'Este artigo de William Briggs examina um estudo que tenta explicar como as vacinas COVID-19 salvaram vidas ao redor do mundo no seu primeiro ano de uso. Os cientistas que escreveram o estudo fizeram um modelo matemático para estimar o quão bem as vacinas funcionaram. Mas Briggs aponta que o modelo deles não pôde dizer exatamente o quão bem as vacinas funcionaram. Primeiro, o modelo apenas supôs que as vacinas funcionaram. Ele não testou se realmente funcionavam. O modelo também não olhou para quantas pessoas já tinham COVID antes de serem vacinadas. Muitas pessoas tinham COVID antes de serem vacinadas. Muitas não sabiam que a tinham porque estavam saudáveis e não desenvolveram sintomas. De qualquer forma, elas desenvolveram imunidade natural que pode ajudar a prevenir uma infecção no futuro ou torná-la menos grave. Por causa desse erro, o modelo pode ter feito parecer que a vacina salvou mais vidas do que realmente fez. O modelo usou "mortes em excesso" para medir o quão bem a vacina funcionou. Mortes em excesso compara o número real de mortes em um ano com uma previsão de quantas mortes ocorreriam em um "ano normal" para aquela população. O modelo supôs que todas essas mortes extras eram de COVID. Mortes em excesso poderiam ser de outras causas, como o pânico, lockdowns e tratamentos prejudiciais para COVID, como foram vistos no ano anterior. Em 2021, as mortes em excesso diminuíram, e o modelo atribuiu essa queda ao funcionamento das vacinas. Mas o modelo não levou em conta todas as outras razões, chamadas de variáveis de confusão, que poderiam ter levado a essa diminuição das mortes em excesso. O modelo também ignorou variáveis de confusão como as diferenças entre países, incluindo quais vacinas eles usaram, suas políticas governamentais e a idade e saúde de suas populações. Isso acrescenta ainda mais incerteza sobre se as vacinas preveniram ou não mortes em excesso. Em resumo, o modelo usado no estudo tinha falhas sérias. Ele provavelmente fez as vacinas parecerem mais eficazes do que eram. O modelo era muito simples para capturar isso. Ignorando muitas variáveis de confusão, este estudo nos deixa com mais perguntas do que respostas e não deve ser usado como evidência de que essas vacinas COVID-19 funcionam.'
--------- Original ---------
'O estatístico William Briggs escreveu este artigo sobre um estudo que alegava medir o efeito das vacinas COVID-19. Ele adverte que vários fatores deixados de fora da análise fazem a vacina parecer funcionar melhor do que realmente funcionou. Sem os fatores adicionais, não deveríamos estar convencidos de que essas vacinas funcionam como este estudo afirma. Briggs aponta que existem muitas variáveis confusas que precisam ser abordadas para fazer qualquer afirmação sobre o quão bem as vacinas funcionam. Variáveis confusas são fatores que podem afetar o resultado de um estudo, mas não foram contabilizados pelos pesquisadores. Uma variável confusa muito importante é o efeito de infecções anteriores. Até o momento em que as vacinas foram lançadas em 2021, muitas pessoas já haviam adquirido imunidade natural a partir de uma infecção anterior. Muitas pessoas que receberam a vacina nem sabiam que haviam sido infectadas anteriormente. Em qualquer caso, sua imunidade natural pode ajudar a prevenir ou reduzir a gravidade de futuras infecções por COVID-19, além do efeito que a vacina possa ter. Briggs desafia a suposição de que as mortes em excesso medidas no estudo foram causadas pela COVID-19. Mortes em excesso é uma comparação de quantas pessoas morreram em um determinado ano e quantas se esperaria que morressem em um ano "normal", conforme previsto por outro modelo. Briggs afirma que o artigo não considerou outros fatores, como o pânico, lockdowns e tratamentos COVID excessivamente agressivos que poderiam ter aumentado as mortes em excesso no ano anterior. Atribuir todas as melhorias nas mortes em excesso à vacina, ele diz, poderia levar a afirmações exageradas sobre a eficácia da vacina. Embora as vacinas possam ajudar as pessoas, também existem riscos da própria vacina. Esses prós e contras devem ser ponderados por pacientes e cuidadores. Briggs também aponta que existem muitas incertezas ao olhar para isso em escala global, pois existem diferenças na forma como cada país respondeu, nos tipos de vacinas usadas e na idade e saúde da população. Em conclusão, Briggs aponta o quão difícil é julgar com precisão quão eficaz foi a vacina COVID-19 em 2021. Simplesmente existem muitos fatores importantes que este estudo falha em contabilizar - incluindo infecções anteriores, diferenças entre países e incerteza nas medidas de morte em excesso - que não é possível para os autores fazerem qualquer estimativa precisa da eficácia da vacina COVID-19.'
--------- Original ---------
How can you tell if a vaccine for a bug is effective? It’s not so easy; indeed, it can be excruciatingly difficult.
At the individual person level you’d need to measure all kinds of things, like the level of antibodies and other immune cells present before vaccination, and then again after and through time.
Then you’d demonstrate, in that person, the exact mechanism by which the vaccine was able to boost immunity, and whether this boost was sufficient to quell the infection, by looking at severity of illness (due to the bug and other existing conditions), how long it took for the infection to abate, and things like that. And that is only a hint of the complexities.
The analysis is made harder because the vaccinated person may never come into contact with the virus. People he meets may have already had prior infections, and so are now mostly or completely immune. Or those people have had a vaccine that was effective to varying degrees.
As difficult as all that sounds, it is not impossible in highly controlled circumstances to discover the extent and to quantify vaccine effectiveness. But it is a slow and painstaking process.
One way you cannot learn, not with anything approaching certainty, is looking at group-level comparisons, where people are not individually counted and compared, but where averages across groups are contrasted, and where you have no idea what the status of any individual is.
This is a popular kind of analysis because it’s cheap and easy. But it can, and often does, lead to huge over-certainties.
A prime example is from the paper “Global impact of the first year of COVID-19 vaccination: a mathematical modelling study” by Oliver J Watson, Gregory Barnsley, Jaspreet Toor, Alexandra B Hogan, Peter Winskill, and Azra C Ghani, in Lancet Infectious Disease.
They used a “mathematical model of COVID-19 transmission and vaccination” for both “reported COVID-19 mortality and all-cause excess mortality in 185 countries and territories” to assess vaccine efficacy in preventing deaths. This is as group-level an analysis as they come, especially with its “excess” deaths portion.
What are “excess” deaths? Deaths different than those predicted by a model. They can be positive, meaning more deaths than predicted by a model, or negative, meaning fewer deaths than predicted by a model. What it means here is that Watson and his co-authors used as input to their model, output from another model, and what that means I’ll explain in a moment.
Let’s first look at their transmission model.
In it, “Vaccination was assumed to confer protection against SARS-CoV-2 infection and the development of severe disease requiring hospital admission, and to reduce transmission from vaccine breakthrough infections”. Incidentally, “Breakthrough infection” is a term of incredulity: it assumes vaccines work and that, somehow, bugs are able to bypass it sometimes.
In other words, their model was told that covid vaccination worked. The model was told that the vax blocked infection and prevented severe disease, including death, and the model was told that infections were harder to pass on in the vaccinated.
The only thing this model can “discover”, therefore, is that the covid vaccine works. It could do nothing else.
Now about the data they used: “The first vaccination outside a clinical trial setting was given on Dec 8, 2020. We introduced vaccination from this point onwards in the model and explored the impact of the first year of vaccination up to Dec 8, 2021.”
Vaccinations did not begin in earnest, however, until spring of 2021, with a peak number of shots in April 2021. The bug, and its early mutations, had been circulating for at least a year by that point. This means many people were already infected by the spring of 2021. And many, the CDC estimated about 15%, never even knew they were infected.
Therefore the biggest flaw in this, and many other analyses, is not accounting for prior infection. This is an immense problem because we can not tell by looking at group-level data whether changes in infections and illness (including death) were caused by prior unnoticed infections or because of vaccinations.
Because of the panic, the majority of people who sought vaccination never had their background covid antibodies checked. After all, you could get the vaccine at the local drug store. It’s possible some of those with prior infections and who got the vax had superior immunity to those without either, but it’s also possible for some the addition of the vax on top of prior infection did nothing.
If this is confusing, what it means is that this, or any, analysis that does not account for previous infection will overestimate, perhaps by a lot, vaccine efficacy. Because it will credit the vax for deaths that were prevented by previous infection. There is also the possibility that other “unapproved” treatments, such as vitamin D and ivermectin, which many took in 2021 also would give credit to the vax.
The authors then fit their same model to “excess” deaths. There are two major flaws with this.
The first is assuming all “excess” deaths were due to or related to covid. This is almost certainly false, as I analyze here. There were still large numbers of deaths above what was usually expected (that “usually expected” is a model) after subtracting covid deaths, especially early in the panic.
These could be caused by aggressive over-treatment for covid, lockdowns, and people too scared to have other life-threatening conditions checked out, especially in 2020 when the panic was at its peak.
The initial frenzied panic subsided somewhat in 2021, which means many “excess” deaths decreased merely from lessened panic. This, too, is credited to the vax in their model.
The second mistake, even allowing that all “excess” deaths were indeed covid related, is that the uncertainty in the estimates of “excess” deaths—there is a plus-or-minus for these—was not incorporated into the estimated number of lives saved by the vax. This means that their own plus-or-minus windows for lives saved will be far too narrow.
None of these criticisms mean that the vaccine did not offer some protection in some people, while also conferring some risk of injury from the vaccination itself. Our point is that there are massive uncertainties that were not accounted for, leading to an exaggerated view of the vaccine’s efficacy.
A further uncertainty is the global nature of this analysis. Countries varied widely in behavior to and in the panic. Vaccines differed. Background health differed. Official policy differed. Really, most things of important differed. Numbers are all over the map. A gross country-by-country analysis is leaving far too much uncertainty unaccounted for.
Especially because of the blind panic, and the failure to note prior infection, it will forever be difficult, or even impossible, to know just how efficacious the vaccine was in 2021.
William Briggs
1 Comment
Leave a Reply
You must be logged in to post a comment.
temp mial
This is my first time pay a quick visit at here and i am really happy to read everthing at one place