p 值是什麼？三個最常見的誤解

口試時最容易被追問的一句話是：「你的 p 值是什麼意思？」很多人的回答是「小於 .05 就代表有顯著」，然後就卡住了。這個答案不算錯，但不足以過關。

p 值的定義，一句話講完

p 值是在「虛無假設成立」的前提下，觀察到目前這個結果（或更極端結果）的機率。換句話說，它回答的是：如果兩組其實沒差別，我有多大機率看到這樣的數據？

它不是「虛無假設為真的機率」，也不是「我的結果有多重要」。這兩件事是最常見的混淆來源。

p 值同時受「效果大小」與「樣本數」影響。樣本夠大時，一個幾乎沒有實質意義的差異也能跑出 p < .001。反過來說，樣本只有 30 份時，即使效果不小也可能不顯著。

所以要判斷「效果大不大」，要看的是效果量：Cohen's d、η²、相關係數 r、標準化迴歸係數 β。論文裡同時報告 p 與效果量，是這幾年審查的基本要求。

不顯著只代表「目前的資料不足以支持有差異」，不等於「證明沒有差異」。常見的原因是檢定力不足——樣本太小、測量誤差太大、效果本來就微弱。

不顯著的時候，比較誠實的寫法是：「未達統計顯著（p = .12），可能與樣本量（n = 48）導致的檢定力不足有關，後續研究可擴大樣本。」

「A 組的 p = .01，B 組的 p = .04，所以 A 的關係比 B 強」——這個推論是錯的。p 值不是效果大小的度量，兩者不能直接比大小。要比較兩個效果誰強，得做正式的檢定（例如比較兩條迴歸係數是否相等）。

把這三件事講清楚，口試時被問到 p 值，你就不會只剩下「小於 .05 就顯著」這一句。