‘Bilimsel yayınların en az yarısı yalan’
Her yıl 3 trilyon dolardan fazla para harcandığı halde, çoğunluğun kaybettiği sağlığını bir türlü kazanamadığı dünyada, işlerin neden bu hâle geldiğini Lancet Dergisi editörü Richard Horton şu iki cümle ile özetliyor: Bilimsel yayınların çoğu yalan. Sağlam olmayan yöntemlerle sonuçlara varılıyor.
Yeni Söz / Öözel Haber
TIP DÜNYASINDA İŞLER ÇIĞIRINDAN ÇIKTI
Dünyanın en ciddi tıp dergisinin editörü olarak tanınan Richard Horton, Lancet'in 11 Nisan'da piyasaya çıkacak sayısında tıp ve bilim dünyasını sarsacak bir yazı kaleme aldı. Horton yazısında “Geçen hafta Londra'da ‘Wellcome Trust'ta gerçekleştirilen bu sempozyum, günümüz biliminin en hassas mevzularından biri olan biyomedikal araştırmaların tekrarlanabilirliği ve güvenilirliğine yani en büyük insan buluşlarından birinde bir şeylerin temelden yanlış gittiği fikrine değiniyordu” diye yazdı.
‘YAYINLANANLARIN ÇOĞU DOĞRU DEĞİL'
Yayınlananların çoğu doğru değil ama bu ifadeyi kimin söylediğini açıklama iznim yok. Çünkü Chatham House kurallarına uymamız istendi ve slaytların fotoğraflarını da çekmemiz yasaktı' diyen Horton, Devlet dairelerinde çalışanların özellikle yorumlarının kayda geçirilmemesini istirham ettiklerini belirtti. Lancet editörü bunun nedeninin orada olanların çoğunun İngiltere'nin bordrolu çalışanı olduğunu, bunun da ‘ifade özgürlüğü'ne ciddi kısıtlamaların getirildiği gerçeğinden kaynaklandığını kaydetti.
‘BİLİM DEĞİL REZİL ÇIKARLAR VE YALAN'
Küçük denek grupları, minik etkiler, geçersiz tetkik analizleri, rezil çıkar çatışmalarının yanı sıra önemli olduğu şüpheli revaçtaki trendleri takip etme takıntısından muzdarip bilimin karanlığa doğru dönüş yaptığını dile getiren Richard Horton, katılımcılardan birinin ifade ettiği gibi ‘sağlam olmayan yöntemlerle sonuçlara varıldığını yazdı ve ekledi: “Tıp dünyasında yayınlananların çoğu doğru değil, bilimsel yayınların çoğunun belki yarısı yalan…”
‘LİTERATÜR, İSTATİSTİKSEL PERİ MASALLARIYLA KİRLETİLDİ'
İlaç firmaları, tıp endüstrisinin önemliliğe olan aşkının, literatürü bir sürü istatistiksel peri masalıyla kirlettiğini dile getiren ünlü editör, “en kıdemli liderleri de dâhil bilim adamları, sıklıkla suiistimal derecesinde tepetaklak edilen araştırma kültürünü düzeltmek için hemen hiçbir şey yapmıyor” diye yazdı. ‘Kimse sistemi temizlemek için ilk adımı atmaya hazır değil' dedi ve ekledi: “Bilimsel literatürün en az yarısı gerçek değil!”
------------------------------------------------------------------
İşte Richard Horton'un ‘İlacın 5 signası ne?' başlıklı yazısının Türkçe ve İngilizcesi
İlacın 5 signası ne?Richard Horton
“Yayınlananların çoğu doğru değil!” Bu ifadeyi kimin söylediğini açıklama iznim yok. Çünkü Chatham House kurallarına uymamız istendi. Slaytların fotoğraflarını da çekmemiz yasaktı. Devlet dairelerinde çalışanlar özellikle yorumlarının kayda geçirilmemesini istirham ettiler. Çünkü yaklaşmakta olan İngiltere seçimleri onlar için perde gerisinde durmayı gerektiren, hükümet bordrosundaki herkesin ifade özgürlüğüne ciddi kısıtlamaların getirildiği soğuk bir süreç demekti.
BİR ŞEYLER YANLIŞ GİDİYOR
Gizliliğe ve atıf yapılmamaya verilen bu paranoyakça ihtimam nedendi? Çünkü geçen hafta Londra'da Wellcome Trust'ta gerçekleştirilen bu sempozyum, günümüz biliminin en hassas mevzularından biri olan biyomedikal araştırmaların tekrarlanabilirliği ve güvenilirliğine yani en büyük insan buluşlarından birinde bir şeylerin temelden yanlış gittiği fikrine değiniyordu.
‘SAĞLAM OLMAYAN YÖNTEMLERLE SONUÇLARA VARILIYOR'
Bilime getirilen suçlama gayet açık: Bilimsel yayınların çoğunun, belki yarısının, yalan olma ihtimali var. Küçük denek grupları, minik etkiler, geçersiz tetkik analizleri, rezil çıkar çatışmalarının yanı sıra önemli olduğu şüpheli revaçtaki trendleri takip etme takıntısından muzdarip bilim, karanlığa doğru dönüş yaptı. Katılımcılardan birinin ifade ettiği gibi “sağlam olmayan yöntemlerle sonuçlara varılıyor.”
‘EN KÖTÜ DAVRANIŞLARA YARDIM VE YATAKLIK ETTİK'
Tıp Bilimleri Akademisi, Tıbbi Araştırmalar Konseyi, Biyo-teknoloji ve Biyoloji Bilimleri Araştırma Konseyi şöhretlerden gelen ağırlıklarını bu tartışmalı araştırma pratiklerinin sorgulanması için kullanıyor. Apaçık bir salgın hâline gelen kusurlu araştırma davranışları alarm veriyor. Bilim adamları sıklıkla, ikna edici bir hikâye bulma mücadelesi içinde, verileri dünyayı kendi tercih ettikleri şekilde resmedecek şekilde kullanıyorlar. Ya da hipotezlerini verilerini doğrulayacak şekilde revize ediyorlar. Bilimsel jurnal editörleri de eleştirilerden payını alıyor. En kötü davranışlara yardım ve yataklık ettik.
‘LİTERATÜR İSTATİSTİKSEL PERİ MASALLARIYLA KİRLETİLDİ'
Etki Faktörüne (IF) teslimiyetimiz, sayılı bir kaç jurnalde bir yer kapmak için girişilen sağlıksız bir rekabeti ateşledi. “Önemlilik”e olan aşkımız literatürü bir sürü istatistiksel peri masalıyla kirletti. Önemli tasdikleri reddediyoruz. Kötü olan sadece jurnaller değil. Üniversiteler de fasılasız şekilde çok ses getirecek yayın yapmayı besleyen indirgemeci kriterlerle para ve yetenek peşinde koşuyor. Araştırma ‘Mükemmeliyet Çerçevesi' gibi ulusal değerlendirme prosedürleri kötü pratikleri teşvik ediyor. Ve de bilim adamları, en kıdemli liderleri de dâhil, sıklıkla suiistimal derecesinde tepetaklak edilen araştırma kültürünü düzeltmek için hemen hiçbir şey yapmıyor.
DÜZGÜN OLMAYI TEŞVİK EDEN HİÇBİR ŞEY YOK
Bu kötü bilimsel tatbikat düzeltilebilir mi? Sorunun bir parçası şu ki düzgün olmayı teşvik eden hiçbir şey yok. Onun yerine, bilim adamları üretken ve inovatif olmaya teşvik ediliyor. Bilime getirilecek bir ‘Hipokrat yemini' yardımcı olabilir mi? Araştırmaya lüzumsuz formaliteler eklemekten başka bir işe kesinlikle yaramaz.
- Teşvikleri değiştirmek yerine belki de tüm teşvikler kaldırılmalı,
- Araştırma raporlarında veya hibe başvurularında tekrarlanabilirlik taahhütünde ısrarcı olunmalı,
- Rekabete değil işbirliğine vurgu yapılmalı,
- Protokollerin ön kayıtlarında ısrarcı olunmalı,
- Yahut yayın öncesi veya sonrası yapılacak meslektaş değerlendirmelerinden iyi olanlar ödüllendirilmeli,
- Araştırma eğitimi ve mentörlüğü geliştirilmeli,
- Geçen yıl yayınladığımız “Araştırmanın Değerini Arttırmak” serisindeki tavsiyeler yürürlüğe konmalıdır.
En ikna edici tavsiye biyomedikal topluluğunun dışından geldi. Tony Weidberg Oxford'da parçacık fiziği profesörü. Yüksek profilli bir dizi hatadan sonra parçacık fiziği topluluğu şimdi artık bir yayın yapılmadan önce veriyi tekrar tekrar kontrol etmeye büyük bir efor sarf ediyor. Hedef güvenilir bir sonuç ve bilim adamlarına teşvikler bu hedef doğrultusunda düzenleniyor.
Weidberg biomedicine'nin (kimyasal/biyolojik tıbbın) sonuçları için çıtayı çok çok düşük tuttuğumuzdan endişeli. Parçacık fiziğinde anlamlılık (significance) 5 sigmada ‘p değeri' olarak 3.5 milyonda 1 olarak konulmuş (yani verilerin son derece aşırı olup sonucun doğru çıkmamasının olasılığı).
Sempozyumun vardığı sonuç bir şeylerin yapılması gerektiğiydi. Aslında herkes bir şeyler yapmanın bizim gücümüz dâhilinde olduğu konusunda hem fikir gibiydi. Ancak tam olarak neyin nasıl yapılacağı konusunda sıkı cevaplar yoktu. Harekete geçmek için gücü olanlar önce bir başkasının harekete geçmesi gerekli diye düşünüyor gibiydi. Ve tabi her pozitif aksiyona (güçlü replikaların fonlanması gibi) karşı bir argüman (bilim daha az yaratıcı olacak) vardı.
İyi haber şu ki, bilim en kötü başarısızlıklarından birini ciddiye almaya başlıyor. Kötü haber ise, kimse sistemi temizlemek için ilk adımı atmaya hazır değil.
What is medicine's 5 sigma? Richard Horton“A lot of what is published is incorrect.” I'm not allowed to say who made this remark because we were asked to observe Chatham House rules. We were also asked not to take photographs of slides. Those who worked for government agencies pleaded that their comments especially remain unquoted, since the forthcoming UK election meant they were living in “purdah” -a chilling state where severe restrictions on freedom of speech are placed on anyone on the government's payroll. Why the paranoid concern for secrecy and non-attribution? Because this symposium- on the reproducibility and reliability of biomedical research, held at the Wellcome Trust in London last week- touched on one of the most sensitive issues in science today: the idea that something has gone fundamentally wrong with one of our greatest human creations.
The case against science is straightforward: much of the scientific literature, perhaps half, may simply be untrue. Afflicted by studies with small sample sizes, tiny effects, invalid exploratory analyses, and flagrant conflicts of interest, together with an obsession for pursuing fashionable trends of dubious importance, science has taken a turn towards darkness. As one participant put it, “poor methods get results.” The Academy of Medical Sciences, Medical Research Council, and Biotechnology and Biological Sciences Research Council have now put their reputational weight behind an investigation into these questionable research practices. The apparent endemicity of bad research behaviour is alarming. In their quest for telling a compelling story, scientists too often sculpt data to fit their preferred theory of the world. Or they retrofit hypotheses to fit their data. Journal editors deserve their fair share of criticism too. We aid and abet the worst behaviours. Our acquiescence to the impact factor fuels an unhealthy competition to win a place in a select few journals. Our love of “significance” pollutes the literature with many a statistical fairy-tale. We reject important confirmations. Journals are not the only miscreants. Universities are in a perpetual struggle for money and talent, endpoints that foster reductive metrics, such as high-impact publication. National assessment procedures, such as the Research Excellence Framework, incentivise bad practices. And individual scientists, including their most senior leaders, do little to alter a research culture that occasionally veers close to misconduct.
Can bad scientific practices be fixed? Part of the problem is that no-one is incentivised to be right. Instead, scientists are incentivised to be productive and innovative. Would a Hippocratic Oath for science help? Certainly don't add more layers of research red-tape. Instead of changing incentives, perhaps one could remove incentives altogether. Or insist on replicability statements in grant applications and research papers. Or emphasise collaboration, not competition. Or insist on preregistration of protocols. Or reward better pre and post publication peer review. Or improve research training and mentorship.
Or implement the recommendations from our Series on increasing research value, published last year. One of the most convincing proposals came from outside the biomedical community. Tony Weidberg is a Professor of Particle Physics at Oxford. Following several high-profile errors, the particle physics community now invests great effort into intensive checking and re-checking of data prior to publication. By filtering results through independent working groups, physicists are encouraged to criticise.
Good criticism is rewarded. The goal is a reliable result, and the incentives for scientists are aligned around this goal. Weidberg worried we set the bar for results in biomedicine far too low. In particle physics, significance is set at 5 sigma—a p value of 3 × 10–7 or 1 in 3·5 million (if the result is not true, this is the probability that the data would have been as extreme as they are).
The conclusion of the symposium was that something must be done. Indeed, all seemed to agree that it was within our power to do that something. But as to precisely what to do or how to do it, there were no firm answers. Those who have the power to act seem to think somebody else should act first. And every positive action (eg, funding well-powered replications) has a counterargument (science will become less creative). The good news is that science is beginning to take some of its worst failings very seriously. The bad news is that nobody is ready to take the first step to clean up the system.
