Are Medical journals dead?


Summary

'تفصل المحققة الطبية ماريان ديماسي المشكلات الرئيسية داخل نشر العلوم، بما في ذلك المشكلات المتعلقة بـ "Peer Review" و "pre-prints" وتسييس المجلات العلمية، والرقابة العلمية، وتناقص الثقة من القراء. تبرز ديماسي الحجج من النقاد المختلفين، مثل رئيس تحرير "British Medical Journal" السابق ريتشارد سميث الذي يقترح أن "Peer Review" غالبًا ما يتجاوز الأبحاث الرائدة ويفشل بشكل منتظم في الكشف عن الغش. يعترف سميث أن المجلات المعروفة لها نفوذ، خاصة بالنسبة للباحثين الجدد الذين يسعون لبناء مسيراتهم الأكاديمية. بينما يرى سميث لا يزال هناك حاجة للمجلات الطبية، يشجع على أساليب النشر البديلة، مثل Substack. بعض الخبراء، مثل جون ايوانيديس، قلقون من التشتت المحتمل للأدب العلمي مع ظهور هذه النماذج النشر الجديدة. يدعو ايوانيديس والدعاة لجسم واحد موحد وشامل للبحث. . تكشف النقاش أيضا عن القلق حول تناقص الثقة في المجلات الطبية والطب على نطاق واسع على مر السنين الأخيرة، بسبب عوامل مثل تسييس العلم والرقابة العلمية خلال جائحة كوفيد-19. يطرح ايوانيديس الدقة المحتملة غير الدقيقة للعديد من النتائج البحثية المنشورة، والإهمال المتسرع للكثير من الأبحاث المبكرة حول كوفيد-19، وانتشار المعلومات المضللة والخاطئة. بينما لكل من أساليب النشر التقليدية والذاتية أنصارها ومعارضيها، المشكلة المركزية تدور حول تعزيز المصداقية والنزاهة والقابلية للوصول للبحوث الطبية. وبالتقدم إلى الأمام، يحتاج مجتمع البحث العلمي إلى تقييم كيفية تحديد وتواصل النتائج العلمية للجمهور بطريقة دقيقة وفعالة.'

Jump to original

'العديد من العلماء يفكرون في كيفية التحقق من الأبحاث ومشاركتها مع العالم. في هذا المقال، نستمع من محرري المجلات العلمية، أي الأشخاص الذين يقررون ما يدخل في المجلات البحثية. المجلات البحثية شبيهة بالجرائد أو المجلات، ولكن بدلاً من مشاركة القصص، يشاركون الاكتشافات الجديدة. يتم إثبات النتائج بواسطة التجارب، والملاحظات، والمعلومات التي تم جمعها. نسمع أيضا من الباحثين، الأشخاص الذين يقومون بهذه الاكتشافات، الذين يرسلون أعمالهم إلى المجلات ويأملون في النشر. عندما يتم نشر البحث، يتم أخذه على محمل الجد أكثر. Richard Smith ، الذي كان يعدل مجلة مرموقة، يشير إلى أن الخطوات المطلوبة لنشر البحث لا تكون دائما منطقية. في بعض الأحيان، يتجاوز المدققون الدراسات التي هي حقا جيدة. في أوقات أخرى، يفوتون أخطاء رئيسية في البحث وتجعل هذه النتائج الغير صحيحة في يدي الجمهور. وهذا قد يسبب مشاكل كبيرة، خاصة عندما يعتمد القراء على المجلات البحثية لاتخاذ قرارات حول الطعام الذي يأكلونه، الدواء الذي يأخذونه، وخيارات الحياة الأخرى. بعض النقاد المعارضين للمجلات قلقون من الرقابة. الرقابة هي عندما يكون لبعض الأشخاص أو الجماعات السيطرة على المعرفة التي يتم مشاركتها وتحتفظ عمدا ببعضها مخفيا - حتى لو كانت المعلومات صحيحة بنسبة 100%. في كثير من الأحيان، هذا لأن المراقبين لا يتفقون مع المعلومات لأسباب سياسية أو اجتماعية. خلال الوباء، رأينا هذا يحدث مع دراسة حول اللقاحات التي انسحبت بعد أن تم مشاركتها. هذا جعل بعض الناس يتساءلون إذا كانت المجلات الطبية الكبيرة تخفي بعض الأعمال. العلماء الشهيرين، مثل Carl Heneghan و Tom Jefferson، اختارا تجاهل المجلات الكبيرة ومشاركة أعمالهم في مجلات أقل شهرة وعلى الإنترنت، لأنهم يعتقدون أنه أسرع وأسهل. ولكن، الأشخاص مثل John Ioannidis، باحث، قلقون أن هذا قد يعكر صفو كيفية كتابة الكتب العلمية. يعتقد Ioannidis أن البحث الطبي يجب أن يبقى معا حتى يتمكن الناس من رؤية الصورة الكاملة، بدلا من وجود بحث مهم في أماكن قد لا يعرف الناس عنها. واحد من محرري البحث السابقين، ومع ذلك، يدعم الباحثين في مشاركة أعمالهم الخاصة لأنه يعتقد أن عملية التحقق بطيئة جدا وغالبا ما توقف أفكار الباحث من الظهور. محرر البحث الآخر قلق من أن الناس بدأوا في فقدان الثقة في المجلات الطبية وفي الأطباء والطب عموما. إنها حزينة لأن العلم، مثل العديد من الجدالات خلال الوباء، أصبح سياسي. Ioannidis يتحدث أيضا عن خسارة الثقة ويعتقد أن العديد من النتائج المشاركة في البحث قد تكون خاطئة. هذه المحادثة تظهر النزاع بين الطريقة القديمة للتحقق من الدراسات والطريقة الجديدة حيث يمكن لأي شخص الوصول إلى الدراسات. بينما الطريقة القديمة لا تزال هي الطريقة الرئيسية للقيام بعمل جيد في وظيفة العالم، فإن السرية المحتملة والإخفاء قد جعلت الناس غير سعداء. القتال الرئيسي هو حول جعل البحث الطبي أكثر ثقة وسهولة للحصول عليه. الجميع يريدون التأكد من أن الجميع الآخرين يحصلون على معلومات علمية دقيقة ومفيدة.'

--------- Original ---------

Jump to original

'في السنوات الأخيرة، ظهرت مناقشة جديدة في المجتمع العلمي حول الطريقة التي يتم فيها التحقق من الأبحاث ونشرها. في هذا المقال، يناقش الباحثون ومحررو المجلات العلمية المشاكل الرئيسية داخل النشر العلمي، بما في ذلك كيفية تأثير هذه المشكلات على العلماء فرديا وعلى الجمهور العام. Richard Smith، المحرر السابق للمجلة الطبية البريطانية، يعبر عن مخاوفه مع Peer Review. تعمل عملية الPeer Review كعمود فقري لعملية التحقق من الحقائق في المجلات العلمية. قبل النشر في مجلة علمية، يتم مراجعة الدراسات من قبل علماء آخرين. في معظم الأوقات، يتم اختيار الذين يراجعون عبر الPeer Review لأنهم يقومون بالبحث المماثل، والذي يمكن أن يخلق نوعا من التحيز خاصة في المجالات التي يوجد فيها عدد قليل من الأشخاص القائمين بذلك النوع من العمل لأنه يجعل من السهل جداً معرفة من هم المراجعون ويمكن أن يؤدي إلى بيئة يدا بيد. يرى Smith أن هذا قد يخلق تحيز ويقول " الPeer Review ليس مبني على الدليل بل على الإيمان"، مشيرًا إلى أن بعض الدراسات التي رُفضت في السابق بواسطة المراجعين عبر الPeer Review تعتبر فيما بعد قطعا علمية مشهود لها بالاحترام. يشير أيضًا إلى أن الأخطاء تتسلل بشكل منتظم خلال الPeer Review. المنتقدون للمجلات الكبرى يقلقون من الرقابة. خلال الوباء، رأينا أمثلة على هذا النوع من المناقشة، بما في ذلك ورقة واحدة حول لقاحات mRNA تم سحبها بعد نشرها. جعل هذا بعض الأشخاص يتساءلون إذا كانت المجلات الطبية الكبرى تراقب أعمال معينة. قرر بعض العلماء المعروفين، مثل Carl Heneghan و Tom Jefferson، تجنب المجلات الكبيرة ونشر أعمالهم في المجلات المتخصصة الصغيرة وعلى المنصات مثل Substack، لأنهم يعتقدون أنه أسرع وأقل تعقيدًا. لكن، يقلق آخرون مثل الباحث John Ioannidis، من أن هذا قد يشوه الأدب العلمي. يعتقد Ioannidis أنه من الضروري الحفاظ على البحث الطبي موحد ومتوازن. يدعم Smith النشر الذاتي لأنه يجد العملية التقليدية بطيئة ويعتقد أنها غالبًا ما تخنق صوت المؤلف. كما يعترف أيضًا أن للمجلات الكبيرة تأثير كبير، خاصة بالنسبة للباحثين الشباب الذين يسعون لبناء مهنهم. تقلق المحررة السابقة لJAMA Internal Medicine Rita Redberg من تناقص الثقة في المجلات الطبية وفي مجال الطب بشكل عام. إنها غاضبة من كيف أصبحت المناقشات العلمية، مثل مناقشة القناع خلال الوباء، سياسية. يثير Ioannidis أيضًا مسألة فقدان الثقة العامة، مشيرًا إلى عمله الذي يظهر أن العديد من النتائج البحثية المنشورة قد تكون غير صحيحة. تظهر هذه المناقشة الآراء المتضاربة حول النشر التقليدي المراجع عبر الPeer Review والأساليب الجديدة، مثل الوصول المفتوح. بينما لا يزال الأسلوب القديم هو المؤشر الرئيسي للنجاح المهني، فقد أدى السرية والرقابة المحتملة إلى زيادة الاستياء. تقدم منصات مثل Substack المزيد من التحكم للمؤلفين والوصول الأسرع للقراء، ولكن تواجه الانتقادات بالإمكانية تقويض الأدب العلمي وتقسيم العلم. بصفة عامة، كلا الأسلوبين له داعموه ومنتقدوه، النقطة الرئيسية في المناقشة هي حول تحسين الموثوقية والوصول إلى الأبحاث الطبية. يريد الجميع التأكد من أن الجمهور يحصل على معلومات علمية دقيقة وفعالة.'

--------- Original ---------

Former editor of The BMJ says, “It's interesting to me in a way that journals are still alive, because I think there's a lot of reasons why they should be dead.”

Problems that have plagued medical journals for decades include the failure of peer review, replication crisis, ghost-writing, and the influence of Big Pharma.

In 2004, Richard Horton, editor of the Lancet wrote, “Journals have devolved into information laundering operations for the pharmaceutical industry.”

More recently, Peter Gøtzsche, one of the founding fathers of the Cochrane Collaboration said, “The medical publishing system is broken. It doesn’t ensure that solid research which goes against financial interests can get published without any major obstacles.”

Scientific publishing is now one of the most profitable businesses. Elsevier, for example, made $2.9 billion in annual revenue with a profit margin approaching 40%, rivalling that of Apple and Google.

But despite these impressive numbers, trust in medical journals has diminished, and this has only been exacerbated by the covid-19 pandemic. 

Peer review fail

Former editor of The BMJ Richard Smith once famously wrote; “Peer review is faith not evidence based, but most scientists believe in it as some people believe in the Loch Ness monster.”

In a recent conversation with Richard Smith, he explained why.

“Peer review was thought to be at the heart of science – that is, who gets a grant or who gets a Nobel Prize – and I suppose it wasn’t until the 80s and 90s that somebody actually examined it – it was just sort of assumed to be a good thing,” said Smith.

“Then people began a series of experiments – there was a Cochrane review – looking at the evidence to see if peer-review was beneficial. And actually, what they found was that there was really no evidence,” he said.

Smith, who worked at The BMJ for 25 years said the peer-review process is slow, it’s expensive, and it stifles the publication of innovative ideas.

“There are lots of examples of ground-breaking work that were rejected by peer-reviewers but go on to win Nobel Prizes. Is the work crazy? Or is it truly genius? Peer review is not good at deciding that,” he said.

Peer review also fails to detect fraud. The recent Surgisphere scandal is a case in point.

Lancet and New England Journal of Medicine were forced to retract studies after researchers reported a link between treatment with hydroxychloroquine and increased death of hospitalised covid patients.

Glaring discrepancies were found in the database underpinning the studies, but were not detected in the peer-review process.

“If researchers say there were 200 patients in the study, then you assume there were. But we have increasing evidence that that’s not the case – there are a lot of zombie trials that never happened or have been manipulated in some way,” said Smith.

“So, in a nutshell, we have lots and lots of evidence of the downside of peer review and really no convincing evidence of its upside,” he added.

Rita Redberg, a cardiologist at the University of California San Francisco, who recently stepped down after 14 years as chief editor of JAMA Internal Medicine, concedes that peer-review is “not perfect”. 

“You always assume that what the authors are telling you is true. The process depends on the honesty of the authors, and yes, people can be dishonest.  But we’re doctors, we’re not investigators with the resources of the FBI. Of course, when any potential dishonesty comes to our attention, we will investigate,” said Redberg.

“It has its problems, but what’s the alternative?  No peer-review? In general, I think peer review is much better than a system without peer review,” added Redberg.

Politicisation of journals

During the pandemic, some journal editors became increasingly politicised. 

Editors at the New England Journal of Medicine, for example, took the rare step of writing an editorial in 2020, urging American voters to oust the sitting President. It was a controversial move.

John Ioannidis, Professor of Medicine at Stanford University, and the most cited scientist in the world, said he is not in favour of the politicisation of medical journals.

“The message it sends is that scientific journals are just another arm of the political propaganda machine,” said Ioannidis.

“That’s not to say that scientific journals shouldn’t take stances on important issues that are decided by politicians like climate change, regulation of industry, and environmental pollution. I just think the editorials were very poor choices and not for the pages of the journals,” he said.

Ioannidis is not convinced that these political statements swayed anyone to cross the political aisle, and thinks the editorials should be retracted.

“To be honest, the editors who made these statements should retract their own editorials on these political issues. Editors can keep their political orientation and still cover all the big important medical issues,” he added.

Emergence of pre-prints

Pre-prints are non-peer-reviewed articles posted on servers such as medRxiv and bioRxiv, that allow thousands of people to view the research. Many see this as a double-edged sword.

It enables faster data sharing in an emergency and quick feedback, but it also opens the door to sloppy science that can be widely disseminated by the public and the media.

Redberg’s personal view is that pre-prints, which have not undergone peer-review, are potentially harmful. 

“I think there’s a danger of putting out information that’s not accurate. For approval of drugs and devices, it’s worth taking the time to get things right. I feel much more confident that you’re going to get it right if it’s undergone peer review,” said Redberg.

“I think it started with very good intentions – people sharing their work and getting comments – but the articles stay up there even after they’re published in journals, and having an older, different–and possibly inaccurate–version remaining in the public sphere may inadvertently disseminate incorrect information,” added Redberg.

Ioannidis, on the other hand, says he is in favour of pre-prints because “they offer more transparency in the system, and they allow for some earlier dissemination of work,”.

But he warned it can be a battlefield citing experiences where some of his pre-prints would receive more than 1000 peer reviews within a day of release. 

“A few were very, very helpful. Hundreds of them were just abuse. It was a very traumatic experience. If you separate what is the good contribution versus the abuse, then I think that they’re useful,” said Ioannidis.

Smith argues that pre-prints actually prove his point about the failure of peer-review. “If you look at what eventually appears in journals, it’s usually very similar to the original pre-print. So, it’s evidence that peer review has not made much of a difference,” said Smith.

“What I argue is that the peer review should not be three or four selected people looking at something before it’s published, but where the ideas are available to everybody. That’s the real peer review,” he said.

Scientific censorship

Publishing articles in medical journals during the pandemic, especially research that was critical of vaccine safety, was sometimes censored or retracted for no good reason.

For example, a peer-reviewed paper linking the mRNA vaccines with myocarditis, authored by doctors Jessica Rose and Peter McCullough, was suddenly withdrawn with insufficient cause.

Some high-profile scientists have decided that the time burden and logistical intensity of publishing in the major medical journals is simply not worth it.

Carl Heneghan and Tom Jefferson, for example, two of the most reputable researchers in the world, say they’ll only publish in specialised journals that have peer-reviewers with the right expertise. 

Otherwise, the bulk of their work is published on the writing platform, Substack (Trust The Evidence).

“I do worry about that,” says Ioannidis.  “We need the voices of people like Carl Heneghan and Tom Jefferson and others in the mix. I suppose if they’ve been thwarted, then there must be some venue where that missing part can appear, and perhaps Substack caters to that need.”

“I do wish that we get them back into the traditional type of medical journals though. If the classical literature is missing a very key perspective like theirs, then the distortion becomes bigger,” he said.

“It makes it more difficult to balance the literature when knowledgeable, critical voices are missing.  I know I may sound like I’m willing to stick to that sinking ship. But I would prefer to not fragment science into medical journals, and Substack and who knows where else,” added Ioannidis.

Smith on the other hand, is more enthusiastic about self-publishing.

“I’m in favour of getting it out there. Let the world decide. It makes a lot of sense to me,” says Smith citing his own challenges with publishing in medical journals.

“Recently, I submitted a piece to the Lancet – a book review – and there was the hassle of all the forms you have to fill in, all the comments from the editors, which I mean – maybe it’s arrogance on my part – but didn’t seem to make things much better,” said Smith in a perturbed tone.

“You’ve got a particular voice, and they disrupt it to some extent. So, it ends up much messier. Doesn’t feel to me like there’s a lot of value added in that process,” he said.

Smith says self-publishing is more of a problem if you are a junior researcher and want to rise in the academic arena. 

“You need to publish in these journals because that’s how you’re judged. If you’ve published in the New England Journal of Medicine, it’s assumed to be a very significant piece of research. I mean, it’s completely unscientific to use the place you publish as a surrogate for the value of the research, but that’s what continues to happen,” said Smith.

Diminished trust

Redberg says it’s not just medical journals that lost trust.

“I think people’s trust in medicine and public health diminished in general in the last few years. The sad part to me is that science became political – whether you wore a mask or not became a political statement – It’s not a political question. It’s a scientific question,” said Redberg. 

Ioannidis who famously authored the paper, “Why Most Published Research Findings Are False” said, “I think that we are losing…well, we have already lost the trust of a major part of the population.”

“Covid created a lot of extra stress on the system. People wanted to publish papers very quickly, by now it’s almost a million papers. We’ve looked at the covid literature and most of it was very sloppy, corners were cut, probably worse than usual,” said Ioannidis.

“The frontier of science is broken at the moment. If we do not acknowledge that we have a problem – and make no mistake – we have a very serious problem, then it will be difficult to defend against conspiracy theories or against people who just want to make money by spreading misinformation or disinformation,” he added.

So, are medical journals dead?

“I don’t think medical journals are dead, no. I feel like they’re busier and more important than ever, because there’s so much innovation and I think that disseminating it through a high-quality, peer-review process is the best way to go,” said Redberg. 

Ioannidis is quick to acknowledge there is a problem with medical journals. “They are very sick, and they suffer from all sorts of diseases, but I just don’t want to say that I’m giving up on them. They need to transform. I hope that they get better. But I don’t want to proclaim them dead yet.”

Smith agrees that there’s a role for medical journals, but he seems less invested. 

“It’s interesting to me in a way that journals are still alive, because I think there’s a lot of reasons why they should be dead,” said Smith.

 

2 Comments

  1. User Avatar

    Peter Shaw

    Obviously a massive problem that science has become a business…

    The idea of peer review has good intentions, but it is only as good as the reviewer is honest and has the resources to sift through the bullshit.

    Ultimately, I think, the solution starts with education and a culture change. That is why the Broken Science Initiative is so powerful. If those who lead the way have a deeper understanding of what science is, and really care about the Truth, the process fixes itself.

    Like Greg says – Any man, but not every man, will learn this.

    …My hope is that enough learn to hold a dim light at the end of the dark mainstream tunnel.

  2. User Avatar

    Brad Jones

    Thank you for the article Maryanne. One important thing to mention regarding journals is the paywall that keeps researchers away from information. Science isn’t being shared openly. Perhaps, the model could quickly fall apart with a peer reviewed “wiki-medical journal”.

Comments are closed.