誤差範圍±3%代表什麼?帶你讀懂民調報告中的「信任區間」
Photo Credit: unsplash

誤差範圍±3%代表什麼?帶你讀懂民調報告中的「信任區間」

文/查爾斯.惠倫;譯/吳書榆

民意調查之所以威力無窮,和之前的抽樣範例一樣,源頭都是中央極限定理。如果我們抽取具代表性的大型美國選民或是任何其他群體做為樣本,便可合理假設我們的樣本會和從中抽出樣本的母體很相似。如果剛好有一半美國成人反同性婚姻,那麼,對於由1,000人組成的具代表性樣本在這方面的態度如何,我們的最佳猜測應是有一半的人會反對同性婚。

反之,如果由1,000個美國人組成的代表性樣本有某些想法,比方說,46%的人不認同歐巴馬總統在任上的表現,那麼,我們可以從樣本推論總母體很可能有相同感受,而從民調的觀點來看,這件事更重要。

誤差範圍等同信任區間

事實上,我們可以計算樣本結果與母體態度極為不同的機率。當你讀到民調的「誤差範圍」是±3%,這其實跟我們上一章計算的95%信任區間是同一回事。我們的「95%信任區間」的意思是,如果我們對從同一個母體抽出來的100個不同樣本做民調,我們可以預期,我們從這些樣本民調當中得到的答案,有95次都會落在母體真正意見的3%範圍內,可能高一點也可能低一點。

以《紐約時報》/CBS 民調的職務表現滿意度來說,我們有95%的信心說,在所有美國人中,不認同歐巴馬總統任上表現的比例為46%±3%,也就是介於43%到49%間。若你讀《紐約時報》/CBS 民調的小字說明,上面說的也就是這意思:「理論上,根據這些樣本,在20次裡,有19次整體結果不會超過去問所有美國成年人後所得答案的上下3%。」

民調和其他抽樣形式有一個根本差異,那就是在前者,我們在乎的簡單統計量不是均數(比方說187磅),而是百分比或比率(比方說47%的選民,或者0.47)。至於其他部分,過程是一模一樣。當我們有一個大型的代表性樣本(民調),我們可以預期,樣本中表達出某種感受的受訪者占比(比方說,9%認為國會有把該做的工作做好),大致和所有美國人中有同樣感受的人占比相等。這無異於假設由1,000個美國人成構成的樣本體重均值,應該大致等於所有美國人的體重均值。同樣的,我們可以預期,在不同樣本裡認同國會表現的比例會有變化,就像我們預期從不同的1,000名男性隨機樣本中得到的體重均數會不一樣。

如果《紐約時報》和 CBS 做第二次民調,針對另一個新的1,000名美國成人樣本問同樣的問題,第二次民調的結果非常不可能和第一次一模一樣,但另一方面,我們也不應該期待第二個樣本得出的答案會和第一個樣本給的答案有大幅差距(回到之前用過的比喻,如果你嘗一湯匙的湯,然後攪一攪鍋子,再嘗一湯匙,這兩湯匙的味道將會很相似)。標準誤差表達的,是我們可以預期從不同的樣本得出的答案差異性多大,用在這裡的話,則是把樣本變成民調。

從標準誤差判斷母體真實比率

舉個例子,假設選舉當天針對500位代表性選民做簡單的「出口民調」,發現53%的人投共和黨候選人,45%的選民投民主黨候選人,2%支持第三黨候選人。假設我們想知道的是共和黨候選人的得票率,這個出口民調的標準誤差為:

為了簡化,我們把出口民調的標準誤差四捨五入到0.02。到目前為止,這只是一個數字,且讓我們徹底來討論一下為什麼這個數字很重要。假設投票剛剛結束,你任職的電視台急著在所有結果都出爐之前就先宣布勝選者。你現在是電視台的官方數據分析師,你的製作人想要知道,能不能根據這次的出口民調來「定勝負」?

你解釋說,答案取決於電視台的觀眾希望在宣布答案時多有信心,或者,白話來說,電視台願意承擔多少萬一錯了的風險。請記住,標準誤差讓我們感知到,我們可以多期待樣本比率(出口民調)會合理地接近母體真實比率(選舉結果)。我們知道,約有68%的時間,我們可以預期樣本比率(以這個範例來說,即有53%的選民說他們投給共和黨)會在真實最終結果的1個標準誤差以內。

不同誤差範圍,該如何判斷?

因此,你「以68%的信心」對製作人說,在你的樣本顯示民主黨得票率是53%±2%,換算下來就是51%到55%,共和黨候選人的真實得票率應該會落在這個範圍內。

在此同時,同一項出口民調顯示,民主黨候選人得到45%的選票。如果我們假設民主黨候選人的得票率標準誤差相同(這是一種簡化,稍後就會解釋),我們可以用68%的信心說,樣本的出口民調顯示民主黨得票率為45%±2%,換算下來就是43%到47%之間,民主黨的真實得票率就落在這個區間。根據計算,共和黨勝選。

於是製圖部門匆匆忙忙用以下數據,製作了很精美的 3D 圖表,讓你可以在螢幕上播給觀眾看:

共和黨 53%
民主黨 45%
獨立參選 2%
(誤差範圍 2%)

一開始,製作人讚嘆萬分又興奮不已,大部分是因為這張圖片是 3D 影像,色彩繽紛,還可以在螢幕上轉啊轉。然而,當你解釋你的出口民調在100次裡約有68次會落在真實選舉結果的1個標準差內,情緒管理不佳的製作人忿怒指出很明顯的數學結論:在100次內,你的出口民調結果有32次不會落在真實選舉結果的1個標準誤差內,那怎麼辦?

你說,這有兩種可能性;①共和黨候選人得到的票數高於你的民調預測,如果是這樣,你還是正確判定了選舉結果。或者,②民主黨候選人有相當高的機率贏得高於你的民調預測的票數,如果是這樣,你這張色彩鮮豔、還會轉動的酷炫 3D 圖表將會報錯勝選者。但要如何才能確定得到的是正確結果?

曾經成為統計大神的你指出,在計票結果出爐之前,你不可能確定任何結果。但是,你可以提出95%的信任區間。如果是這樣,平均來說,你那個會轉動的五彩繽紛 3D 圖片每100次只會錯5次。製作人點了一根菸,看起來鬆了一口氣,但你還是說了一個壞消息。電視台要對投票結果更有信心,唯一的方法就是擴大「誤差範圍」,只是當你這麼做,就無法明確看出誰會贏。於是你給你的主管看新的酷炫圖表:

共和黨 53%
民主黨 45%
獨立參選 2%
(誤差範圍 4%)

樣本數愈大,標準誤差愈小

利用中央極限定理,我們得知約有95%樣本比率會落在母體比率的兩個標準誤差(在此例中,這個數值為4%)內。因此,如果我們想對民調結果更有信心,我們的預測就不能太有野心。在95%信心水準上,電視台可以宣布共和黨候選人的得票率是53%±4%,換算下來就是49%到57%。在此同時,民主黨候選人的得票率是45%±2%,也就是41%到49%。

沒錯,現在你又碰上新問題了。在95%的信任水準上,你無法拒絕兩個候選人可能各得49%的選票因而平手的可能性。這是無可避免的取捨;要在沒有新數據之下更肯定你的民調結果會和選舉結果一致,唯一的方法就是更保守預測。

假設第二次出口民調結果放在你桌上,這一次樣本有2,000位選民。民調結果如下:共和黨(52%),民主黨(45%),獨立參選(3%)。製作人簡直氣瘋了,因為第二次民調指出兩黨候選人的距離拉近了,你更難及時判斷這場選舉誰輸誰贏。但,等等!你大膽指出樣本數比第一次民調樣本增加4倍之多,因此,標準誤差會大幅降低。共和黨候選人的新標準誤差是 (0.52)(0.48) / 2000,算出來是0.01。

如果製作人仍可接受95%的信任水準,那你可以宣布共和黨候選人贏了。現在新的標準誤差是0.01,候選人的95%信任區間如下:共和黨為52%±2%,算出來的得票率是50%到54%之間;民主黨為45%±2%,算出來是43%到47%。這兩個信任區間已經沒有重疊之處了,你可以在節目中宣布共和黨勝選;在100次裡,你有95次以上會講對。

但實際的情況還更好。中央極限定理告訴我們,樣本比率有99.7%的時候會落在母體真實比率的3個標準誤差內。在這個選舉範例裡,兩黨候選人99.7%的信任區間分別如下:共和黨為52%±3%,算出來的得票率是49%到55%之間;民主黨為45%±3%,算出來是42%到48%。如果你說共和黨贏了,你和製作人被開除的機會微乎其微,而這都要感謝新的2,000名選民樣本。

你應該看出來,樣本數愈大,標準誤差愈小,也因此,大型的全國性民調到頭來結果準確到讓人驚訝。另一方面,小樣本的標準誤差顯然比較大,信任區間也因此變大,亦即「樣本誤差範圍」變大)。

做得好的話,民調是非常不可思議的工具。曾任蓋洛普機構的總編法蘭克.紐波特(Frank Newport)說,對1,000人做民調就可以得出有意義且準確的洞見,看透整個國家的態度。從統計上來說,他是對的,但是,要得到這些有意義且準確的結果,必須要去做適當的民調並正確解讀結果,這兩件事都是講來容易,做來不易。

會出現糟糕的民調結果,通常不是因為計算標準誤差時數學不好;差勁的結果通常來自於樣本有偏差、問的問題很糟,或者兩者都有。講到抽樣調查公眾意見,「丟進來的是垃圾,得出的也會是垃圾」這句名言完全適用。

※ 本文摘自 《把統計學剝光光》,原篇名為〈Chapter 10 民意調查 我們如何知道64%的美國人支持死刑?〉,立即前往試讀►►►