By William Briggs
Summary
'In questo articolo, lo statistico William Briggs analizza uno studio che mirava a quantificare l'impatto globale dei vaccini COVID-19 nel primo anno in cui erano disponibili (2021). Briggs sostiene che il modello matematico dello studio è difettoso perché presume che i vaccini COVID funzionino, piuttosto che testare se lo fanno. Il modello presume che i vaccini riducano le infezioni gravi che portano al ricovero o alla morte e prevengano la trasmissione. Tuttavia, il modello non tiene conto delle precedenti infezioni da COVID, che erano diffuse al momento del lancio dei vaccini. Questo significa che il modello probabilmente sovrastima l'efficacia del vaccino attribuendo la riduzione delle morti ai vaccini, ma ignora l'impatto dell'immunità naturale acquisita tramite un'infezione precedente. Briggs critica anche l'uso dello studio di "decessi in eccesso", che confronta il numero effettivo di morti in un dato anno con il numero di morti predetto da un modello. Inoltre, il modello presume che tutti i decessi in eccesso fossero correlati al COVID. Molti dei fattori che hanno portato a un eccesso di morti nel 2020 - come il panico, gli effetti avversi dei lockdown e il trattamento troppo aggressivo nei primi casi di COVID - sono stati ridotti nel 2021, l'anno di questo studio. Non tenendo conto della riduzione di questi fattori, lo studio probabilmente sovrastima l'efficacia del vaccino. Molte fonti di incertezza sono state ignorate da questo studio. I decessi in eccesso sono una stima con un livello di errore. Ma questa incertezza non è stata presa in considerazione nel calcolo del numero di vite salvate dal vaccino. L'analisi di questo documento paese per paese ignora anche molte importanti differenze tra i paesi, come l'età e la salute delle loro popolazioni, le politiche governative, i diversi vaccini e altro. Nel complesso, Briggs sostiene che, omettendo molti dati importanti, lo studio probabilmente esagera l'efficacia del vaccino. A causa dei numerosi fattori confondenti presentati qui, è quasi impossibile quantificare con precisione l'efficacia del vaccino.'
'Questo articolo di William Briggs esamina uno studio che tenta di spiegare come i vaccini COVID-19 hanno salvato vite in tutto il mondo nel loro primo anno di utilizzo. Gli scienziati che hanno scritto lo studio hanno creato un modello matematico per stimare quanto bene hanno funzionato i vaccini. Ma Briggs sottolinea che il loro modello non poteva dire con precisione quanto bene hanno funzionato i vaccini. Innanzitutto, il modello presumeva semplicemente che i vaccini funzionassero. Non ha effettivamente testato se funzionavano. Il modello non ha nemmeno guardato quante persone avevano già il COVID prima di ricevere il vaccino. Molte persone avevano il COVID prima di essere vaccinate. Molti non sapevano di averlo perché erano in salute e non hanno mai sviluppato sintomi. In entrambi i casi, hanno sviluppato un'immunità naturale che può aiutare a prevenire un'infezione in futuro o a renderla meno grave. A causa di questo errore, il modello potrebbe aver fatto sembrare che il vaccino abbia salvato più vite di quante ne abbia effettivamente salvate. Il modello ha utilizzato "excess deaths" per misurare quanto bene ha funzionato il vaccino. "Excess deaths" confronta il numero effettivo di morti in un anno con una previsione di quante morti ci sarebbero in un "anno normale" per quella popolazione. Il modello presumeva che tutte queste morti extra fossero dovute al COVID. "Excess deaths" potrebbe essere da altre cause come il panico, i lockdown e i trattamenti dannosi per il COVID, come si è visto l'anno precedente. Nel 2021, "excess deaths" è diminuito, e il modello ha attribuito quel calo al funzionamento dei vaccini. Ma il modello non ha tenuto conto di tutti gli altri motivi, chiamati variabili confondenti, che avrebbero potuto portare a questa diminuzione di "excess deaths". Il modello ha anche ignorato variabili confondenti come le differenze tra i paesi, inclusi i vaccini che hanno utilizzato, le loro politiche governative e l'età e la salute delle loro popolazioni. Questo aggiunge ancora più incertezza su se i vaccini abbiano prevenuto "excess deaths" o no. In sintesi, il modello utilizzato nello studio aveva gravi difetti. Probabilmente ha fatto sembrare i vaccini più efficaci di quanto non fossero. Il modello era troppo semplice per catturare questo. Ignorando molte variabili confondenti, questo studio ci lascia con più domande che risposte e non dovrebbe essere utilizzato come prova che questi vaccini COVID-19 funzionano.'
--------- Original ---------
'Lo statistico William Briggs ha scritto questo pezzo su uno studio che afferma di misurare l'effetto dei vaccini COVID-19. Mette in guardia sul fatto che diversi fattori omessi dall'analisi fanno sembrare che il vaccino funzioni meglio di quanto non faccia in realtà. Senza i fattori aggiuntivi non dovremmo essere convinti che questi vaccini funzionino come afferma questo studio. Briggs sottolinea che ci sono molte variabili di confusione che devono essere affrontate per fare qualsiasi affermazione su quanto funzionino bene i vaccini. Le variabili di confusione sono fattori che possono influenzare l'esito di uno studio, ma che non sono stati presi in considerazione dai ricercatori. Una variabile di confusione molto importante è l'effetto delle infezioni precedenti. Al momento del dispiegamento dei vaccini nel 2021, molte persone avevano già acquisito immunità naturale da un'infezione precedente. Molte persone che hanno ricevuto il vaccino non sapevano nemmeno di essere state precedentemente infettate. In ogni caso, la loro immunità naturale potrebbe aiutare a prevenire o ridurre la gravità delle future infezioni da COVID-19, in aggiunta a qualsiasi effetto abbia il vaccino. Briggs contesta l'ipotesi che le morti in eccesso misurate nello studio fossero causate dal COVID-19. Le morti in eccesso sono un confronto tra quante persone sono morte in un dato anno e quante ci si aspetterebbe che muoiano in un anno "normale", come previsto da un altro modello. Briggs afferma che l'articolo non ha considerato altri fattori, come il panico, i lockdown e i trattamenti COVID aggressivi che avrebbero potuto aumentare le morti in eccesso nell'anno precedente. Attribuire tutti i miglioramenti nelle morti in eccesso al vaccino, dice, potrebbe portare a rivendicazioni esagerate dell'efficacia del vaccino. Mentre i vaccini possono aiutare le persone, ci sono anche rischi derivanti dal vaccino stesso. Questi pro e contro devono essere valutati dai pazienti e dai caregiver. Briggs sottolinea inoltre che ci sono molte incertezze quando si guarda a questo su scala globale perché ci sono differenze in come ogni paese ha risposto, i tipi di vaccini utilizzati e l'età e la salute della popolazione. In conclusione, Briggs sottolinea quanto sia difficile giudicare con precisione quanto fosse efficace il vaccino COVID-19 nel 2021. Ci sono semplicemente troppi fattori importanti che questo studio non riesce a considerare - inclusi le infezioni precedenti, le differenze tra i paesi e l'incertezza nelle misurazioni delle morti in eccesso - che non è possibile per gli autori fare una stima precisa dell'efficacia del vaccino COVID-19.'
--------- Original ---------
How can you tell if a vaccine for a bug is effective? It’s not so easy; indeed, it can be excruciatingly difficult.
At the individual person level you’d need to measure all kinds of things, like the level of antibodies and other immune cells present before vaccination, and then again after and through time.
Then you’d demonstrate, in that person, the exact mechanism by which the vaccine was able to boost immunity, and whether this boost was sufficient to quell the infection, by looking at severity of illness (due to the bug and other existing conditions), how long it took for the infection to abate, and things like that. And that is only a hint of the complexities.
The analysis is made harder because the vaccinated person may never come into contact with the virus. People he meets may have already had prior infections, and so are now mostly or completely immune. Or those people have had a vaccine that was effective to varying degrees.
As difficult as all that sounds, it is not impossible in highly controlled circumstances to discover the extent and to quantify vaccine effectiveness. But it is a slow and painstaking process.
One way you cannot learn, not with anything approaching certainty, is looking at group-level comparisons, where people are not individually counted and compared, but where averages across groups are contrasted, and where you have no idea what the status of any individual is.
This is a popular kind of analysis because it’s cheap and easy. But it can, and often does, lead to huge over-certainties.
A prime example is from the paper “Global impact of the first year of COVID-19 vaccination: a mathematical modelling study” by Oliver J Watson, Gregory Barnsley, Jaspreet Toor, Alexandra B Hogan, Peter Winskill, and Azra C Ghani, in Lancet Infectious Disease.
They used a “mathematical model of COVID-19 transmission and vaccination” for both “reported COVID-19 mortality and all-cause excess mortality in 185 countries and territories” to assess vaccine efficacy in preventing deaths. This is as group-level an analysis as they come, especially with its “excess” deaths portion.
What are “excess” deaths? Deaths different than those predicted by a model. They can be positive, meaning more deaths than predicted by a model, or negative, meaning fewer deaths than predicted by a model. What it means here is that Watson and his co-authors used as input to their model, output from another model, and what that means I’ll explain in a moment.
Let’s first look at their transmission model.
In it, “Vaccination was assumed to confer protection against SARS-CoV-2 infection and the development of severe disease requiring hospital admission, and to reduce transmission from vaccine breakthrough infections”. Incidentally, “Breakthrough infection” is a term of incredulity: it assumes vaccines work and that, somehow, bugs are able to bypass it sometimes.
In other words, their model was told that covid vaccination worked. The model was told that the vax blocked infection and prevented severe disease, including death, and the model was told that infections were harder to pass on in the vaccinated.
The only thing this model can “discover”, therefore, is that the covid vaccine works. It could do nothing else.
Now about the data they used: “The first vaccination outside a clinical trial setting was given on Dec 8, 2020. We introduced vaccination from this point onwards in the model and explored the impact of the first year of vaccination up to Dec 8, 2021.”
Vaccinations did not begin in earnest, however, until spring of 2021, with a peak number of shots in April 2021. The bug, and its early mutations, had been circulating for at least a year by that point. This means many people were already infected by the spring of 2021. And many, the CDC estimated about 15%, never even knew they were infected.
Therefore the biggest flaw in this, and many other analyses, is not accounting for prior infection. This is an immense problem because we can not tell by looking at group-level data whether changes in infections and illness (including death) were caused by prior unnoticed infections or because of vaccinations.
Because of the panic, the majority of people who sought vaccination never had their background covid antibodies checked. After all, you could get the vaccine at the local drug store. It’s possible some of those with prior infections and who got the vax had superior immunity to those without either, but it’s also possible for some the addition of the vax on top of prior infection did nothing.
If this is confusing, what it means is that this, or any, analysis that does not account for previous infection will overestimate, perhaps by a lot, vaccine efficacy. Because it will credit the vax for deaths that were prevented by previous infection. There is also the possibility that other “unapproved” treatments, such as vitamin D and ivermectin, which many took in 2021 also would give credit to the vax.
The authors then fit their same model to “excess” deaths. There are two major flaws with this.
The first is assuming all “excess” deaths were due to or related to covid. This is almost certainly false, as I analyze here. There were still large numbers of deaths above what was usually expected (that “usually expected” is a model) after subtracting covid deaths, especially early in the panic.
These could be caused by aggressive over-treatment for covid, lockdowns, and people too scared to have other life-threatening conditions checked out, especially in 2020 when the panic was at its peak.
The initial frenzied panic subsided somewhat in 2021, which means many “excess” deaths decreased merely from lessened panic. This, too, is credited to the vax in their model.
The second mistake, even allowing that all “excess” deaths were indeed covid related, is that the uncertainty in the estimates of “excess” deaths—there is a plus-or-minus for these—was not incorporated into the estimated number of lives saved by the vax. This means that their own plus-or-minus windows for lives saved will be far too narrow.
None of these criticisms mean that the vaccine did not offer some protection in some people, while also conferring some risk of injury from the vaccination itself. Our point is that there are massive uncertainties that were not accounted for, leading to an exaggerated view of the vaccine’s efficacy.
A further uncertainty is the global nature of this analysis. Countries varied widely in behavior to and in the panic. Vaccines differed. Background health differed. Official policy differed. Really, most things of important differed. Numbers are all over the map. A gross country-by-country analysis is leaving far too much uncertainty unaccounted for.
Especially because of the blind panic, and the failure to note prior infection, it will forever be difficult, or even impossible, to know just how efficacious the vaccine was in 2021.
About the Author: William Briggs
One Comment
Leave A Comment
You must be logged in to post a comment.
This is my first time pay a quick visit at here and i am really happy to read everthing at one place