INN:這個數字，幾乎所有實驗室都在用，卻讓整個科學界陷入危機_Icarus Network

近100年來，幾乎所有科學家在分析實驗數據時，都會用到p值這個工具：只有p小于0.05，才意味著實驗結果具有統計顯著性，才能在學術期刊上正式發表。但是，統計顯著性的概念以及支撐它的p值具有相當大的局限性。而正是這樣的缺陷，讓整個科學界都處于危機中。

1925年，英國遺傳學家兼統計學家羅納德·菲舍爾出版了《研究者的統計方法》一書。這本書的書名在當時看起來并不會“暢銷”，但實際上這本書卻取得了巨大的成功，而且還使菲舍爾成為現代統計學之父。在這本書中，他著眼于研究人員如何將統計檢驗理論應用于實際數據，以便基于數據得出他們所發現的結論。當使用某個統計假設來做檢驗時，該檢驗能夠概述數據與其假設的模型之間的兼容性，并生成一個p值。

菲舍爾建議，作為一個方便的指南，研究人員可以考慮將p值設為0.05。對于這一點，他專門論述道：“在判斷某個偏差是否應該被認為是顯著的時候，將這一閾值作為判斷標準是很方便的。”他還建議，p值低于該閾值的結論是可靠的，因此不要把時間花在大于該閾值的統計結論上。因此，菲舍爾的這一建議誕生了p小于0.05等價于所謂的統計顯著性，這成了“顯著”的數學定義。

菲舍爾的遺憾

近一個世紀之后，在科學研究的許多領域，p值小于0.05被認為是確定實驗數據可靠性的金標準。這個標準支持了大多數已發表的科學結論，違反這一標準的論文很難發表，而且也很難得到學術機構的資助。然而，即使是菲舍爾也明白，統計顯著性的概念以及支撐它的p值具有相當大的局限性。

P值經常被曲解，統計的顯著性不等于實際的顯著性。此外，為了讓數據更漂亮，很多研究人員有意無意地將p值向上或向下調整。美國加利福尼亞大學洛杉磯分校的名譽教授、統計學家和流行病學家桑德·格林蘭德說：“你可以用統計學方法來證明任何事情。”他是呼吁統計學改革的科學家之一。只依靠達到統計顯著性的研究經常會得出不準確的科學結論，這種判斷標準可以把真的事情判斷為假的，也可以把假的事情判斷成真的。在菲舍爾退休，移居澳大利亞后，有人問他，在漫長的職業生涯中他是否有任何遺憾，他明確回答道：“當初不該提出0.05。”

彭博社：監管機構與加密的沖突“是這個行業有史以來發生的最好事情”:5月2日消息，彭博社發表社論，并指出監管機構與加密的沖突“是這個行業有史以來發生的最好事情”。

彭博社認為，SEC所進行的加密監管有助于行業清除市場上的不良主體。“這樣一個框架將賦予SEC和CFTC廣泛的權力，以迅速清除市場上數千個不良參與者。而這將使欺詐行為普遍減少，“有了適當的識別要求，區塊鏈網絡甚至可能比現有的銀行系統更加透明，更不利于犯罪。”（theblock）[2023/5/2 14:38:52]

統計學家羅納德·菲舍爾。圖片來源：維基百科

在過去十年里，關于統計重要性的爭論以不尋常的強度爆發。援引兩篇論文的觀點：一篇文章稱統計分析的薄弱基礎導致了“科學最骯臟的秘密”；另一篇則提到，在檢驗某些假設時，存在“許多深層次的缺陷”。在爭議聲中，實驗經濟學、生物醫學研究，特別是心理學被卷入了一場科學實驗可重復性的危機之中。在這場危機中，科學家發現相當一部分研究是不可重復的。

一個臭名昭著的例子是“姿態能量”的概念，某篇論文聲稱，自信的肢體語言不僅會改變你的態度，還會改變你的激素分泌，后來這篇文章還被作者自我否定了。美國哥倫比亞大學的統計學家安德魯·格爾曼在他博客寫道：“一篇可疑的關于氣候經濟學影響力的論文，多年之后發表了勘誤聲明，最終被修正的錯誤結論幾乎與原論文的數據點一樣多，這可不是開玩笑！但勘誤聲明中這些更正都不足以讓作者改變結論。”格爾曼還說道：“嘿，只做理論上的工作就可以了，但不需要用數據分散我們的注意力。”

江卓爾：這個世界已多出貨幣自由（比特幣）和合同自由（以太坊）:萊比特礦池CEO江卓爾今日發微博稱，Pornhub被VISA和MasterCard斷網，僅接受加密貨幣后，附圖這條微博下面的各種評論：a、贊揚三觀正；b、菜刀無罪論（法幣用于更多犯罪，更有罪）；c、反對私刑論（未經法院定罪，VISA不應自行審判關支付）等等……這些都不是這件事的重點，也不是本質。這件事應該關注的，不是這事三觀正不正，誰對誰錯，惡不惡心，而是更底層的物理問題：自從（免疫暴力的）區塊鏈誕生以來，這個世界關于自由的博弈平衡點，已經大幅地、永久地、不可逆地移動了。是的，不管你贊成還是反對、欣喜還是咒罵、助推還是反抗，這個平衡點不可逆地移動了，這個世界已經多出了貨幣自由（比特幣），合同自由（以太坊，包括衍生出來的股權自由，金融自由等），并且在下一個10年（互聯網硬件性能×100倍后），還有望迎來信息自由。[2020/12/16 15:20:04]

統計顯著性的概念雖然不是引起問題的唯一因素，但很明顯，它是引起問題的一個關鍵要素。在過去的三年里，數以百計的研究人員呼吁統計學改革，他們在著名期刊上發表文章，重新定義統計顯著性，或干脆放棄統計顯著這個概念。美國統計協會在2016年就這一問題發表了一份強有力且不同尋常的聲明，主張“進入一個沒有p<0.05的世界”。美國統計協會執行董事羅納德·瓦瑟斯坦這樣說：“科學家總是說，我有小于0.05的p值，這很好。但這種粗糙的判斷方法，使得科學因此停止了。”

現場 | bitflyer創立者：在區塊鏈這個行業上 日本發展是比較慢的:金色財經現場報道，10月2日，N.avenue株式會社在東京舉辦日本區塊鏈大會b.tokyo，在本次大會上，日本交易所bitflyer創立者加納裕三進行了“區塊鏈的互聯網價值如何改變未來社會”的主題演講。他表示：在區塊鏈這個行業上，日本發展是比較慢的。比如在美國發展的非常快。57%的日本企業還沒有開始進行或者是還沒有接觸區塊鏈。從世界上的角度上看，其實區塊鏈已經在進行了，所以日本也在進行，但是我可以斷言，日本一定會進行下去并且確信也可以進行下去。[2019/10/2]

問題是，事態會不會有什么變化。美國南加利福尼亞大學的行為經濟學家丹尼爾·本杰明表示：“這已經不是新鮮事了。我們需要清醒地認識到，這一次將與以往一樣，大家說要變革統計學，最終卻不了了之。”很多人在變革統計學的具體措施上有分歧，正如美國經濟學家斯蒂芬·齊利亞克所寫的那樣：“令人吃驚的是，還有不少研究者堅持使用統計顯著性檢驗、統計結論解釋和統計分析報告這三個例行公事的傳統套路。”

可重復性危機

科學的目的是描述自然界中的真實情況。科學家使用統計模型來推斷真相，比如確定一種治療方法是否比另一種更有效。每個統計模型的分析結果，取決于科學家如何收集數據，如何分析數據，以及研究人員如何有選擇性地展示他們的結果。

以統計方法為中心，實驗結果的檢驗被稱為零假設顯著性檢驗，這個過程會產生一個p值。P值只是對事情有一個模糊的描述。“當我們進行實驗時，我們想知道的是——我們的假設是真的嗎？”本杰明說，“但是，顯著性檢驗回答了一個令人費解的替代問題，那就是，如果我的假設是錯誤的，我的數據有多大的概率導致錯誤的結論？”

聲音 | Ripple首席執行官：數字資產有助于解決金融包容性問題，中央銀行傾向于進入這個領域:據ambcrypto報道，Ripple首席執行官Brad Garlinghouse稱，金錢本身正在發生變化。數字資產不僅有助于解決金融包容性問題，而且還有一個非常現實的問題：即全球支付系統正破裂，中央銀行傾向于進入這個領域。“[2018/12/16]

當然了，p值也有奏效的時候。一個極端但有用的例子是尋找希格斯玻色子。希格斯玻色子是物理學家于20世紀60年代首次在理論上提出的粒子。零假設是希格斯玻色子不存在；對立假設是它必須存在。歐洲核子研究中心的物理學家用大型強子對撞機進行了多次實驗，得到了極其小的p值，以至于如果假設不存在希格斯玻色子的話，其結果發生的可能性就只有350萬分之一。這么小的p值意味著，沒有希格斯玻色子的粒子物理標準模型幾乎不可能是正確的。

但是，物理學的這種精確度在其他學科是無法達到的。當做人的心理學實驗的時候，p值永遠不會達到300萬分之一。P值為0.05時，在許多重復實驗中，每20次實驗中就有1次實驗錯誤地否認了正確的假設。這就是為什么統計學家很早以前就增加了“置信區間”這個概念，作為一種讓科學家估計誤差或不確定性的方法。置信區間在數學上與p值息息相關。P值在0到1之間變動。如果把1減去0.05，得到的0.95就是95%的首選置信區間。但是，但是，置信區間只是一個比較好地概括實驗結果的方法，可以體現多種效應量。格林蘭德說：“置信區間也沒有任何東西能激發人們的信心。”隨著時間的推移，置信區間和p值一樣，給人們提供了一種確定性的錯覺。

現場 | WBF紐約世界區塊鏈大會發起人趙勝：區塊鏈是對這個世界的一次糾偏 ?:金色財經現場報道，8月7日，全球數字金融生態基金（Global Digital Finance Capital）發布會在蘇州東太湖召開。WBF紐約世界區塊鏈大會發起人趙勝致辭指出，未來是什么？未來就是趨勢，科技進步是硬趨勢。未來30年，科技是推動這個時代進步的最大公約數。區塊鏈、通證經濟給全球的商業組織帶來了新的調整，未來新的組織的定義還無法定論，但可以看到，區塊鏈是對這個世界的一次糾偏。從3個科技時代的演化可以看出，2008年開啟的區塊鏈時代，底層邏輯是機器改變人的信任關系。[2018/8/7]

P值本身不一定是問題的本質所在。期刊編輯、科研資助機構和監管機構宣稱，p值的分析在論文中是一個非常有用的工具。因此，令人擔憂的情況正在發生，統計顯著性的重要性被夸大或過分強調了。2015年，可重復性危機項目開展了一項實驗，對100篇重要的社會心理學論文進行了重復性檢驗，結果發現只有36.1％的論文的結論可以被重復出來。2018年，社會科學可重復性項目評估了《自然》與《科學》在2010年至2015年間發表的21項社會科學實驗研究的可重復性。他們發現，與原研究相比，其中只有13項研究中的重復實驗產生了顯著結果。

圖片來源：slate

從0.05到0.005

很多學科的科學家已經達成了共識：對p值的誤解，以及過分強調統計顯著性，才是真正的問題，盡管有些人對濫用p值的嚴重性持較溫和的態度。美國康涅狄格大學的社會心理學家布萊爾·約翰遜說：“從長遠來看，科學界經常是這樣子的，鐘擺會在兩個極端之間搖擺，你必須接受這一點。”他說，這一輪p值危機的好處是，可以提醒科學家謹慎對待實驗結果。

但是，要想真正取得進展，科學家必須就解決方案達成共識，這是很困難的。盡管如此，有用的建議還是很多的。這些建議包括改變統計方法，或者改變統計分析的使用方式等。最突出的觀點已經在一系列論文中提出，這些論文始于2016年的美國統計協會聲明，其中20多位統計學家就改革的若干原則達成了一致意見。隨后，該協會所屬的一本期刊還專門制作了特刊，就這一事件發表了一系列文章。

2018年，由72位科學家組成的小組在《自然·人類行為》上發表了一篇名為《重新定義統計意義》的評論文章，贊同將統計顯著性的閾值從0.05調整到0.005。這篇文章的主要作者本杰明認為：“這是一個不完美的短期解決方案，但可以立即實施。我擔心的是，如果我們不立即做這事，我們將失去變革的動力，而我們最終將花費所有的時間爭論理想化的解決方案。”

另一些人則認為，重新定義統計顯著性沒有好處，因為真正的問題是閾值始終存在。今年3月份，瑞士巴塞爾大學的流行病學家、動物學家瓦倫丁·阿姆萊因與美國西北大學的統計學家、市場營銷專家布萊克利·麥克沙恩在《自然》雜志上發表了一篇評論文章，主張放棄統計學顯著性的概念。他們建議將p值作為一個連續變量，并將置信區間重命名為“相容性區間”，以反映它們彰顯的實際意義：評估數據的相容性，而不是置信度。

顯然，有更好的統計方法可以用。格爾曼經常批評其他人的統計方法，他在工作中根本沒有使用零假設顯著性檢驗。他更喜歡貝葉斯方法，這是一種基于初始信念的、更為直接的統計方法，在這種方法中，研究人員接受最初的信念，添加新的證據并更新信念。格林蘭德正在推廣使用一種叫做稀奇程度的新數學量，可以調整p值以產生信息位。為了檢驗原假設，0.05的p值僅有4.3比特的信息熵（假設有一枚均勻的硬幣，拋硬幣出現正面設為0、出現反面設為1，則拋一個硬幣事件的信息熵就是1個比特。獨立地拋256次硬幣的信息熵就是256個比特。那么求解方程0.5x=0.05，解得0.05的概率約為拋擲x=-log20.05=4.3次，于是0.05的p值約為空值的4.3比特的信息熵。

所謂信息熵就是某個概率分布所包含的信息量的多少，這是信息論的基礎知識。在信息論中，如果你對一件事情的發生百分之百確定，那么這件事情對你來說的信息熵等于0比特。反過來說，如果你對一件事情是不確定的，那么這件事情對你來說是包含信息熵的。格林蘭德認為，如果研究人員不得不在每一個p值旁邊加上一個稀奇程度，那么他們將被置于更高的標準之下。強調效應量，即發現差異的大小，也將有所幫助。

圖片來源：pixabay

擁抱不確定性

統計顯著性滿足了研究人員對確定性的需求。格爾曼說：“這里的原罪是研究人員在得不到確定性的時候卻想要確定性。”或許，現在是時候讓我們接受不確定性了。

科學界正在發生微小的變化。《新英格蘭醫學雜志》的發言人詹妮弗·蔡斯說:“我們同意，p值有時被過度使用或被曲解了。對于治療來說，如果我們認定p<0.05，治療的結果是有效的；如果p>0.05，治療是無效的。那么這就是醫學的簡化主義，它并不總能反映客觀事實。”蔡斯同時強調，《新英格蘭醫學雜志》的研究報告現在已經很少使用p值了，更多是采用置信區間而不是使用p值這個概念。

根據美國食品及藥品管理局的生物統計學部門的負責人約翰·斯科特的說法，關于p值的應用，臨床試驗的要求還沒有發生任何變化。

麥克沙恩說：“最關鍵的是，p值不應成為看門人。我們應該采取更全面、更細化和更容易評價的指標。”其實，這個觀點在歷史上就有人贊同，甚至在與菲舍爾同時代的人中，也有人支持這一觀點。比如在1928年，另外兩位統計學大師杰爾茲·內曼和艾根·佩爾松在撰寫統計分析報告時寫到：“統計檢驗本身并沒有給出最終的結論，而只是作為一個參考工具幫助人們做出最終的決策。”

撰文：莉迪婭·登沃斯

翻譯：張慧銘

參考鏈接：

EvaluatingtheReplicabilityofSocialScienceExperimentsinNatureandSciencebetween2010and2015.ColinF.Camereretal.inNatureHumanBehaviour,Vol.2,pages637–644;September2018.

MovingtoaWorldbeyond“p<0.05.”RonaldL.Wasserstein,AllenL.SchirmandNicoleA.LazarinAmericanStatistician,Vol.73,Supplement1,pages1–19;2019

來源：環球科學

編輯：lwk

Tags：ANDINNICAAMEHANDYINNITIcarus NetworkBovineVerse Game

火星幣