发新话题
打印

p值的迷思:顯著與非常顯著

p值的迷思:顯著與非常顯著

在很多統計方法裡都會看到p值, 通常在許多期刊表格的下方都會看到*p<0.05, **p<0.01, ***p<0.001,所以就說*是顯著,**是很顯著,***是非常顯著 (這裡的顯著指的是magnitude),所以說p<.001 的效果比p<.05的好,這樣說對嗎?

要回答這個問題就要先回到p的定義。p值用簡單的語言說,就是此測試結果有百分之幾的可能是由於機率的關係,再簡單一點就是出錯的機率,所以p<0.05 的意思就是此檢定小於5%的可能是由於機率。

許多人可能就接著會想:對啊,那p<0.01 當然比 p<0.05更顯著 (同上,指magnitude),不是嗎?這樣的說法是不正確的,因為我們設p值是出錯機率,而p值界線是為了判定結果是否為顯著,所以只有兩種結果:顯著和不顯著,這邊提的是機率,而不應該用「非常顯著」或very significant這樣的詞語加諸在數據上面,而宣稱X對於Y結果具有「非常顯著」的效果,這是不正確的,怎麼可以用出錯的機率來推斷X對於Y的影響有多大呢?如果要知道效果的大小,得看effect size (可參考 話說Effect Size )。

http://www.graphpad.com/www/Book/Interpret.htm 網頁說的很好,許多人讀圖表的時候,都會把*: P < 0.05 (significant), **: P < 0.01 (highly significant); ***: P < 0.001 (extremely significant) 當作是米其林指南(Le Guide Michelin,為一本世界的飲食指南),把*的多寡當作是顯著程度。這不可不慎!

如網友cog5566指出,顯著、非常顯著可以指「信心程度」, 所以bottom line就是p值是用來判斷接受與拒絕虛無假設,以及對結果的信心程度。

2009/11/25 更新

網友 Chen-Pan Liao 贊助了幾個值得思考的觀點,可以作為檢驗自己是否真的了解p值的意義:

P-value 並不能表示效應的大小;
P-value 並不是 alternative hypothesis 為偽的機率;
P-value 並不是觀測值是極端值的機率;
P-value 並不是犯 type one error 的機率;
P-value 並不是重覆取得觀測值得到不同結果的機率;
P-value 並不能決定顯著水準.

TOP

TOP

发新话题