Over-Certainties In Global Estimates of Vaccine Efficacy
By William Briggs
Summary
'Dans cet article, le statisticien William Briggs analyse une étude qui visait à quantifier l'impact mondial des vaccinations COVID-19 pendant la première année où elles étaient disponibles (2021). Briggs soutient que le modèle mathématique de l'étude est défectueux parce qu'il suppose que les vaccins COVID fonctionnent, plutôt que de tester s'ils fonctionnent. Le modèle suppose que les vaccins réduisent les infections graves conduisant à l'hospitalisation ou à la mort et préviennent la transmission. Cependant, le modèle ne tient pas compte des infections COVID antérieures, qui étaient largement répandues au moment du déploiement des vaccins. Cela signifie que le modèle surestime probablement l'efficacité du vaccin en attribuant la réduction des décès aux vaccins, mais ignore l'impact de l'immunité naturelle acquise par une infection antérieure. Briggs critique également l'utilisation par l'étude des "décès excédentaires", qui compare le nombre réel de décès au cours d'une année donnée au nombre de décès prévu par un modèle. De plus, le modèle suppose que tous les décès excédentaires étaient liés au COVID. De nombreux facteurs qui ont conduit à un nombre plus élevé de décès excédentaires en 2020, tels que la panique, les effets néfastes des confinements, et le traitement trop agressif dans les premiers cas de COVID, ont été réduits en 2021, l'année de cette étude. En ne tenant pas compte de la réduction de ces facteurs, l'étude surestime probablement l'efficacité du vaccin. De nombreuses sources d'incertitude ont été ignorées par cette étude. Les décès excédentaires sont une estimation avec un niveau d'erreur. Mais cette incertitude n'a pas été intégrée dans leur calcul du nombre de vies sauvées par le vaccin. L'analyse pays par pays de ce document ignore également de nombreuses différences importantes entre les pays, telles que l'âge et la santé de leurs populations, les politiques gouvernementales, les différents vaccins, et plus encore. En général, Briggs soutient qu'en omettant beaucoup de points de données importants, l'étude exagère probablement l'efficacité du vaccin. En raison des nombreux facteurs confondants présentés ici, il est presque impossible de quantifier précisément l'efficacité du vaccin.'
'Cet article de William Briggs examine une étude qui tente d'expliquer comment les vaccins COVID-19 ont sauvé des vies dans le monde entier lors de leur première année d'utilisation. Les scientifiques qui ont rédigé l'étude ont créé un modèle mathématique pour estimer l'efficacité des vaccins. Mais Briggs souligne que leur modèle ne pouvait pas dire précisément à quel point les vaccins étaient efficaces. D'abord, le modèle supposait simplement que les vaccins fonctionnaient. Il n'a pas vraiment testé s'ils le faisaient. Le modèle n'a pas non plus examiné combien de personnes avaient déjà eu le COVID avant de recevoir le vaccin. Beaucoup de gens avaient le COVID avant d'être vaccinés. Beaucoup ne savaient pas qu'ils l'avaient parce qu'ils étaient en bonne santé et n'ont jamais développé de symptômes. De toute façon, ils ont développé une immunité naturelle qui peut aider à prévenir une infection à l'avenir ou à la rendre moins sévère. À cause de cette erreur, le modèle pourrait avoir donné l'impression que le vaccin a sauvé plus de vies qu'il ne l'a fait en réalité. Le modèle a utilisé les "décès excédentaires" pour mesurer l'efficacité du vaccin. Les décès excédentaires comparent le nombre réel de décès dans une année à une prévision du nombre de décès qui se produirait dans une "année normale" pour cette population. Le modèle a supposé que tous ces décès supplémentaires étaient dus au COVID. Les décès excédentaires pourraient être dus à d'autres causes comme la panique, les confinements, et les traitements nocifs pour le COVID, comme on l'a vu l'année précédente. En 2021, les décès excédentaires ont diminué, et le modèle a attribué ce déclin à l'efficacité des vaccins. Mais le modèle n'a pas pris en compte toutes les autres raisons, appelées variables de confusion, qui auraient pu entraîner cette diminution des décès excédentaires. Le modèle a également ignoré des variables de confusion comme les différences entre les pays, y compris les vaccins qu'ils utilisaient, leurs politiques gouvernementales, et l'âge et la santé de leurs populations. Cela ajoute encore plus d'incertitude à la question de savoir si les vaccins ont prévenu ou non les décès excédentaires. En résumé, le modèle utilisé dans l'étude avait de graves défauts. Il a probablement fait paraître les vaccins plus efficaces qu'ils ne l'étaient. Le modèle était trop simple pour capturer cela. En ignorant de nombreuses variables de confusion, cette étude nous laisse avec plus de questions que de réponses et ne devrait pas être utilisée comme preuve que ces vaccins COVID-19 fonctionnent.'
--------- Original ---------
'Le statisticien William Briggs a écrit cet article sur une étude qui prétendait mesurer l'effet des vaccins COVID-19. Il met en garde contre plusieurs facteurs laissés de côté dans l'analyse qui font paraître le vaccin plus efficace qu'il ne l'était en réalité. Sans ces facteurs supplémentaires, nous ne devrions pas être convaincus que ces vaccins fonctionnent comme le prétend cette étude. Briggs souligne qu'il y a de nombreuses variables de confusion qui doivent être prises en compte pour faire des affirmations sur l'efficacité des vaccins. Les variables de confusion sont des facteurs qui peuvent affecter le résultat d'une étude, mais qui n'ont pas été pris en compte par les chercheurs. Une variable de confusion très importante est l'effet des infections précédentes. Lorsque les vaccins ont été distribués en 2021, beaucoup de personnes avaient déjà acquis une immunité naturelle suite à une infection antérieure. Beaucoup de personnes qui ont reçu le vaccin ne savaient même pas qu'elles avaient été infectées auparavant. Dans tous les cas, leur immunité naturelle pourrait aider à prévenir ou à réduire la gravité des futures infections à COVID-19, en plus de l'effet que le vaccin pourrait avoir. Briggs conteste l'hypothèse selon laquelle les décès excédentaires mesurés dans l'étude ont été causés par le COVID-19. Les décès excédentaires sont une comparaison entre le nombre de personnes décédées une année donnée et le nombre de personnes qui auraient dû mourir une année "normale", comme le prévoit un autre modèle. Briggs affirme que le papier n'a pas pris en compte d'autres facteurs, comme la panique, les confinements, et les traitements COVID excessivement agressifs qui auraient pu augmenter le nombre de décès excédentaires l'année précédente. Attribuer toutes les améliorations dans les décès excédentaires au vaccin, dit-il, pourrait conduire à des affirmations exagérées sur l'efficacité du vaccin. Alors que les vaccins peuvent aider les gens, il y a aussi des risques provenant du vaccin lui-même. Ces avantages et inconvénients doivent être pesés par les patients et les soignants. Briggs souligne également qu'il y a beaucoup d'incertitudes lorsqu'on regarde cela à l'échelle mondiale car il y a des différences dans la manière dont chaque pays a répondu, les types de vaccins utilisés, et l'âge et la santé de la population. En conclusion, Briggs souligne à quel point il est difficile de juger avec précision à quel point le vaccin COVID-19 était efficace en 2021. Il y a simplement trop de facteurs importants que cette étude n'a pas pris en compte - y compris les infections précédentes, les différences entre les pays, et l'incertitude dans les mesures de décès excédentaires - qu'il n'est pas possible pour les auteurs de faire une estimation précise de l'efficacité du vaccin COVID-19.'
--------- Original ---------
How can you tell if a vaccine for a bug is effective? It’s not so easy; indeed, it can be excruciatingly difficult.
At the individual person level you’d need to measure all kinds of things, like the level of antibodies and other immune cells present before vaccination, and then again after and through time.
Then you’d demonstrate, in that person, the exact mechanism by which the vaccine was able to boost immunity, and whether this boost was sufficient to quell the infection, by looking at severity of illness (due to the bug and other existing conditions), how long it took for the infection to abate, and things like that. And that is only a hint of the complexities.
The analysis is made harder because the vaccinated person may never come into contact with the virus. People he meets may have already had prior infections, and so are now mostly or completely immune. Or those people have had a vaccine that was effective to varying degrees.
As difficult as all that sounds, it is not impossible in highly controlled circumstances to discover the extent and to quantify vaccine effectiveness. But it is a slow and painstaking process.
One way you cannot learn, not with anything approaching certainty, is looking at group-level comparisons, where people are not individually counted and compared, but where averages across groups are contrasted, and where you have no idea what the status of any individual is.
This is a popular kind of analysis because it’s cheap and easy. But it can, and often does, lead to huge over-certainties.
A prime example is from the paper “Global impact of the first year of COVID-19 vaccination: a mathematical modelling study” by Oliver J Watson, Gregory Barnsley, Jaspreet Toor, Alexandra B Hogan, Peter Winskill, and Azra C Ghani, in Lancet Infectious Disease.
They used a “mathematical model of COVID-19 transmission and vaccination” for both “reported COVID-19 mortality and all-cause excess mortality in 185 countries and territories” to assess vaccine efficacy in preventing deaths. This is as group-level an analysis as they come, especially with its “excess” deaths portion.
What are “excess” deaths? Deaths different than those predicted by a model. They can be positive, meaning more deaths than predicted by a model, or negative, meaning fewer deaths than predicted by a model. What it means here is that Watson and his co-authors used as input to their model, output from another model, and what that means I’ll explain in a moment.
Let’s first look at their transmission model.
In it, “Vaccination was assumed to confer protection against SARS-CoV-2 infection and the development of severe disease requiring hospital admission, and to reduce transmission from vaccine breakthrough infections”. Incidentally, “Breakthrough infection” is a term of incredulity: it assumes vaccines work and that, somehow, bugs are able to bypass it sometimes.
In other words, their model was told that covid vaccination worked. The model was told that the vax blocked infection and prevented severe disease, including death, and the model was told that infections were harder to pass on in the vaccinated.
The only thing this model can “discover”, therefore, is that the covid vaccine works. It could do nothing else.
Now about the data they used: “The first vaccination outside a clinical trial setting was given on Dec 8, 2020. We introduced vaccination from this point onwards in the model and explored the impact of the first year of vaccination up to Dec 8, 2021.”
Vaccinations did not begin in earnest, however, until spring of 2021, with a peak number of shots in April 2021. The bug, and its early mutations, had been circulating for at least a year by that point. This means many people were already infected by the spring of 2021. And many, the CDC estimated about 15%, never even knew they were infected.
Therefore the biggest flaw in this, and many other analyses, is not accounting for prior infection. This is an immense problem because we can not tell by looking at group-level data whether changes in infections and illness (including death) were caused by prior unnoticed infections or because of vaccinations.
Because of the panic, the majority of people who sought vaccination never had their background covid antibodies checked. After all, you could get the vaccine at the local drug store. It’s possible some of those with prior infections and who got the vax had superior immunity to those without either, but it’s also possible for some the addition of the vax on top of prior infection did nothing.
If this is confusing, what it means is that this, or any, analysis that does not account for previous infection will overestimate, perhaps by a lot, vaccine efficacy. Because it will credit the vax for deaths that were prevented by previous infection. There is also the possibility that other “unapproved” treatments, such as vitamin D and ivermectin, which many took in 2021 also would give credit to the vax.
The authors then fit their same model to “excess” deaths. There are two major flaws with this.
The first is assuming all “excess” deaths were due to or related to covid. This is almost certainly false, as I analyze here. There were still large numbers of deaths above what was usually expected (that “usually expected” is a model) after subtracting covid deaths, especially early in the panic.
These could be caused by aggressive over-treatment for covid, lockdowns, and people too scared to have other life-threatening conditions checked out, especially in 2020 when the panic was at its peak.
The initial frenzied panic subsided somewhat in 2021, which means many “excess” deaths decreased merely from lessened panic. This, too, is credited to the vax in their model.
The second mistake, even allowing that all “excess” deaths were indeed covid related, is that the uncertainty in the estimates of “excess” deaths—there is a plus-or-minus for these—was not incorporated into the estimated number of lives saved by the vax. This means that their own plus-or-minus windows for lives saved will be far too narrow.
None of these criticisms mean that the vaccine did not offer some protection in some people, while also conferring some risk of injury from the vaccination itself. Our point is that there are massive uncertainties that were not accounted for, leading to an exaggerated view of the vaccine’s efficacy.
A further uncertainty is the global nature of this analysis. Countries varied widely in behavior to and in the panic. Vaccines differed. Background health differed. Official policy differed. Really, most things of important differed. Numbers are all over the map. A gross country-by-country analysis is leaving far too much uncertainty unaccounted for.
Especially because of the blind panic, and the failure to note prior infection, it will forever be difficult, or even impossible, to know just how efficacious the vaccine was in 2021.
William Briggs
1 Comment
Leave a Reply
You must be logged in to post a comment.
temp mial
This is my first time pay a quick visit at here and i am really happy to read everthing at one place