ANOVA還能搞三四五因素？等等，我頭有點兒暈…… | 協和八
原創 張之昊
我們在過去的幾集裡，討論了多因素 ANOVA 的原理和使用。
不過眼尖的你也許已經發現了，我們講過的例子都是只有兩個因素的。
說好的「多」因素 ANOVA，怎麼就成了「兩」因素了呢？
這就好像你去全聚德，明明點了一隻烤鴨，結果上菜了一看，好傢伙，我只給你端上來倆翅膀——那怎麼行？所以，今天我們就來看看，要是有三個或者更多的因素，ANOVA 還能不能玩得轉？
我們就先從三因素的情況說起。既然都是 ANOVA，那麼多了一個因素並不會改變它的基本原理（鴨胸鴨腿鴨屁股都是鴨嘛！），我們也就借此機會和大家快速複習一下，我們要製作烤鴨使用多因素 ANOVA，需要滿足什麼要求。
首先最基本的一點，在我們的資料裡頭，因變數必須是連續型變數（continuous variable），比如身高、體重、收入、耗費的時間、考試分數等。而我們感興趣的三個引數（也就是 ANOVA 裡的三個「因素」）得是離散型變數（discrete variable，或者叫分類變數 categorical variable），比如說性別、種族、職業之類。（關於資料的分類，可回顧《8.數據到手了，第一件事先幹啥？》）
而且，對於這裡所考慮的三因素 ANOVA，在受試者的分組來說，這三個因素不同水準的組合對應於互不相同的受試者——換言之，這是一個「受試間」設計（between-subjects design）。
舉個例子說，如果我們有性別（男/女）、給藥（實驗藥物/安慰劑）、疾病狀況（患者/健康對照）三個因素，這三個因素一共有 8 個組合。那麼，要使用普通的三因素 ANOVA，這 8 個分組的受試者需要是完全不同的，不能有某些受試者同時屬於不止一個分組。
在別的研究裡，可能會出現同一組受試者參與了所有實驗條件或分組的情況，這就是所謂的「受試內」設計（within-subjects design）。這時，我們就不能用常規的多因素 ANOVA，而要使用重複測量多因素 ANOVA（repeated-measures multi-factor ANOVA），我們以後會為大家作簡單介紹（對於重複測量單因素的情況，可回顧《28.聽說，成對t檢驗還有ANOVA進階版？》和《29.重複測量ANOVA：你要知道的事兒都在這裡啦》）。
不僅如此，我們還可能會碰到更複雜的情況，那就是幾個因素中，有的是受試間的，有的是受試內的。比如我們前面提到的性別、給藥、疾病狀況這三個因素，一個人當然只可能有一種性別和一種疾病狀況（在一定時間內），但是實驗者可以讓同一個人在不同時間先後服用實驗藥物和安慰劑。這種情況下，性別和疾病狀況還是受試間因素，而給藥則變成了受試內因素。這時，我們就要用到目前還沒介紹過的混合設計 ANOVA（mixed-design ANOVA，也稱混合ANOVA, mixed ANOVA）了。
在此基礎上，我們之前還強調過，不論對於 t 檢驗還是常規的 ANOVA，被觀測的個體不僅需要是互不相同的，而且還要是相互獨立的，亦即它們之間沒有相互聯繫或影響。這種「聯繫」或「影響」有很多方面的含義，比如說同一家庭的成員會由於遺傳和生活習慣的相近而有相似的健康狀況，同一班級的學生會由於擁有相同的教師和日常相處的機會而具有相近的學習成績等等。我們曾在《23.要做 t 檢驗，這兩口毒奶可喝不得！》的第二部分有過討論，不熟悉的讀者可戳此處回顧。
最後，我們還知道，ANOVA 之所以能根據資料計算出一個 p 值，給我們做統計推斷，是對資料的分佈形式做了一些假設，從而由組內和組間平方和構建出了 F 統計量（可參看《26.ANOVA的基本招式你掌握了嗎？》）。這些假設主要包括兩方面的內容：
❶ 所有分組（三個因素不同水準的所有組合）內的資料（近似）服從正態分佈
要檢驗分佈的正態性，我們需要用到箱線圖、頻率長條圖、Q-Q 圖等資料視覺化方法，以及 Shapiro-Wilk 檢驗（參看《8.數據到手了，第一件事先幹啥？》和《13.不是正態分佈，t 檢驗還能用嗎？》）。
要是檢查發現資料不正態怎麼辦？一來，已有的研究表明，ANOVA 對正態性假設不滿足的情況有一定的容忍度，尤其是在樣本量較大的情況下，因此如果偏離情況並不太嚴重，或者各組內資料點的數量都比較多，我們還是可以繼續使用 ANOVA。二來，我們在 t 檢驗部分中介紹過的應對措施——資料變換同樣能夠派上用場（參看《15.樣本分佈不正態？數據變換來救場！》）。這時要注意的是，我們必須對所有各組資料進行相同的變換。
❷ 所有分組內的資料的方差相等
這個假設如何驗證？我們在《12.就是要實用！t 檢驗的七十二變》裡提到過 Levene 氏檢驗就是幹這事兒的。如果檢驗結果表明方差不相等，我們可以同樣嘗試用資料變換的方法來糾正此問題。另外，當各分組的樣本量相等或十分接近時，ANOVA 對方差相等的要求也並不是特別敏感。
把上面這些準備工作都做好，我們就可以用三因素 ANOVA 來分析手上的資料了。讓我們來想像這樣一個純屬虛（xia）構（bian）的例子：
臨近放假的一天，咱們欄目的吉祥物藍精靈和格格巫又吵架了，吵的是啥呢？藍精靈買回來一個肉粽子在宿舍裡吃得正歡，格格巫一看就嚷嚷起來：「哎呀呀這粽子哪能是鹹的呢？真不像話！」這下好了，一發不可收拾，連豆腐腦啊月餅啊番茄炒雞蛋啊都給扯出來了。現在考驗你的時候到了——這架該咋勸？
只見你不慌不忙，上前好言相勸：「與其磨嘴皮子，不如做點有益世界的事情，我正好最近在研究影響咱們醫院職工對粽子口味喜好的因素，要不你們也一起來？」
藍精靈和格格巫一想，也有道理，於是加入了你的研究小分隊。
怎樣測量人們對甜鹹粽子的偏好呢？方法自然有很多，最簡單最經濟的辦法自然是直接問了。要注意的是，人們對兩種粽子的喜好也許不是非此即彼的，可能有人兩種粽子都喜歡，或者都不喜歡。所以你們決定，讓受訪者在－5 到＋5 之間對甜鹹粽子好吃程度的差異進行打分：如果覺得甜粽子比鹹粽子好吃，那麼就打一個正的分數，而且分數越正，代表受訪者認為甜粽子比鹹粽子好吃的程度更高；而負的分數則相反。如果是 0，那麼就意味著受訪者覺得兩者好吃程度無差別。
在收集資料之前，你們一起考慮了一下要重點研究哪些因素。
首先，大家一致想到了南北方差異，因此籍貫自然是一個重點對象。然後，藍精靈還提出，性別似乎也挺有影響。向來想法有些非主流的格格巫又插了一句，我覺得醫生和護士愛吃的東西好像很不一樣啊！於是，最後敲定的三個因素是：籍貫（南方/北方）、性別（男/女）和職位（醫生/護士）。
這樣一來，這三個因素就一共構成了 8 個分組。在保證各分組樣本量基本相同的前提下，你們收集好了資料，並且檢查前面列舉的各種條件和要求都得到了滿足，統計軟體愉快地輸出了一大堆結果——我們應該如何解讀？
有了之前那麼多集文章關於單因素、兩因素 ANOVA 的鋪墊，相信大家已經知道，ANOVA 關注的根本問題就是不同的因素對因變數有什麼效應。當因素不止一個時，我們既然考慮各個因素的主效應，又要考察因素之間的交互效應。
三因素 ANOVA 自然也不例外。因為現在有了三個因素，所以主效應自然也有三個了。同時，由於因素個數的增多，交互效應就比兩因素時要複雜了。
首先，我們有兩個因素之間的交互效應，在今天的例子裡包括以下三個：籍貫×性別、籍貫×職位、職位×性別。由於它們是兩個因素之間的交互效應，所以稱為二維交互效應（2-way interaction）。
其次，在三因素ANOVA中，還包含一個由所有三個因素構成的交互效應，稱為三維交互效應（3-way interaction），具體到例子裡面，就是籍貫×性別×職位。 三維交互效應究竟是什麼意思？不妨回想一下，在《多因素ANOVA＝好幾個單因素ANOVA？可沒這麼簡單！》裡，我們詳細討論過二維交互效應的定義——如果說因素 A 和 B 之間存在交互效應，那麼因素 A 對因變數 y 的影響會因為因素 B 的取值而有所不同。
同樣的邏輯可以套用在三維交互效應上（敲黑板強調，以下幾句話是今天的難點）：
因素 A、B 和 C 之間的三維交互效應 A×B×C，我們可以看成 A×（B×C），也就是因素 A 與一個新構造出的「因素」B×C 之間的交互效應。
按照剛才複習過的二維交互效應的定義，我們就可以把交互效應 A×B×C 這樣來理解：「因素」B×C 對因變數 y 的影響會因為因素 A 的取值而有所不同。而這個新構造出來的因素 B×C 是啥呢？不就是 B 和 C 之間的二維交互效應嘛。也就是說，B 和 C 之間的二維交互效應會隨著因素 A 的取值不同而表現出不同的樣子。
所以，三維交互效應可以理解成為「一個因素的主效應」和「另外兩個因素之間交互效應」的交互效應。還是覺得太抽象了？別著急，下面馬上就有具體的實例。
要做一個三因素 ANOVA，有三個主效應，三個二維交互效應，一個三維交互效應，這麼多東西，我們該從何下手？別慌，我們要記住一條，多因素 ANOVA，一定先從最複雜的交互效應開始看起，然後步步後退。也就是說，我們要先看那個三維交互效應。
這是什麼原因呢？回顧上一集《兩個因素相互影響，ANOVA結果該如何判讀？》，我們向大家展示過，在兩因素 ANOVA 裡，如果存在交互效應，那麼主效應就不能很好地表示該因素對觀測值的影響。換句話說，對主效應如何解讀，取決於是否存在交互效應。
同樣的道理，在三因素 ANOVA 裡，主效應的解讀取決於交互效應，而二維交互效應的解讀取決於三維交互效應。因為三維交互效應 A×B×C 可以看成 A×（B×C），那麼如果存在顯著的三維交互效應，光看二維交互效應 B×C 得出的關於 B 和 C 對因變數的影響的結論就會有問題。
讓我們回到關於粽子口味的例子。
從統計學軟體的輸出裡，藍精靈和格格巫看到了顯著的三維交互效應籍貫×性別×職位。別忘了我們說過，要直觀地瞭解資料中交互效應的具體方向，輪廓圖（profile plot）是一個很好的方法（參見《31.多因素ANOVA＝好幾個單因素ANOVA？可沒這麼簡單！》）。
一個輪廓圖只能表現兩個因素下各組的平均值，要表現三維交互效應，我們則需要多個輪廓圖來把第三個因素的不同水準畫出來（圖1）。至於三個因素怎麼擺，具體哪個分別放在x軸、不同符號和折線、還是不同的輪廓圖上，就看我們要把三維交互效應怎樣分拆了。下面圖 1 的畫法，對應的就是（籍貫×性別）×職位，也就是強調了（籍貫×性別）這個二維交互效應在不同職位上的區別。
圖1 三維交互效應示例
從圖 1 可以很容易看到，在醫生裡，籍貫和性別對粽子喜好的影響存在交互效應（因為兩條折線不平行），北方女醫生比北方男醫生更愛吃甜粽子，而南方女醫生比南方男醫生更愛吃鹹粽子（這些差別是否顯著要通過事後檢驗來確定）。而在護士裡，籍貫和性別似乎沒有交互效應，而這兩個因素似乎各自存在主效應，北方護士比南方護士更愛吃甜粽子，而女護士比男護士更偏好鹹粽子。
當然，這只是一個特殊例子。要滿足三維交互效應，只需要醫生和護士底下性別和籍貫的交互效應足夠不一樣就行了，至於各自具體長什麼樣、差別在哪，ANOVA 都是不在意的。
另外，在判讀三維交互效應時，把哪兩個因素放一塊，剩下哪個因素單出來，在理論上都是可以的，實踐中往往以哪種最容易解釋和理解為標準。上面的這個例子，我們也可以把三維交互效應解釋為不同籍貫中性別和職位交互效應的區別，又或者是男女性之間籍貫和職位交互效應的區別。
總結一下上面的思路，當我們使用三因素 ANOVA 時，結果要從三維交互效應看起：
如果三維交互效應顯著，則要把整個資料集按照某一個因素不同取值拆開，然後在得到的多個「子資料集」（就好像上面例子中按職位分開畫輪廓圖一樣）中做兩因素ANOVA，對另兩個因素的二維交互效應進行考察；
如果三維交互效應不顯著，則進一步考察整個樣本中三個因素兩兩組合得到的三個二維交互效應的顯著性。同樣，如果二維交互效應顯著，則需要繼續在一個因素不同取值下拆分資料集，分別考慮另一因素的主效應；如果二維交互效應不顯著，則直接考慮整個樣本中單個因素的主效應。
掌握了三因素 ANOVA，那麼更多的因素又如何呢？理論上來說，我們的思路和方法都是一樣的。然而，實際上很少會用到四因素或以上的 ANOVA。為什麼？我們已經看到，三因素 ANOVA 解讀起來已經比二因素繁瑣許多，因素進一步增多以後，複雜程度更是爆炸性增長——四因素將帶來 1 個四維交互效應，4 個三維交互效應，6 個二維交互效應，和 4 個主效應。五因素呢？更加不得了，會有 1 個五維交互效應， 5 個四維交互效應，10 個三維交互效應，10 個二維交互效應，5 個主效應。這麼多的效應要一一看過來，誰都會被繞進雲裡霧裡的。
使問題更糟糕的是，ANOVA 本身並不能為我們指明差別的方向（這正是我們需要事後檢驗的原因），因此在因素數量很多的時候，各分組的均值之間差別導致 ANOVA 顯著效應的可能性非常多，ANOVA 能告訴我們的資訊太模糊了。
那如果我們的研究裡就是有 4 個以上的因素怎麼辦？如果有個別因素是連續變數怎麼辦？即將到來的雞年裡，歡迎繼續關注「說人話的統計學」，這些挑戰我們都會為你一一擊破！
P.S.本集資料純屬虛構，不代表作者或協和八在甜鹹黨之爭中的立場☃——順便說一句，作者甜粽子咸粽子都愛吃！
本系列文章
第 1 章 高屋建築看統計
1.你真的懂p值嗎？
2.做統計，多少資料才算夠？（上）
3.做統計，多少資料才算夠？（下）
4.提升統計功效，讓評審心服口服！
5.你的科研成果都是真的嗎？
6.見識資料分析的「獨孤九劍」
7.貝葉斯vs頻率派：武功到底哪家強？
第 2 章 算術平均數與正態分佈
8.數據到手了，第一件事先幹啥？
9.算術平均數：簡單背後有乾坤
10.正態分佈到底是怎麼來的？
第 3 章 t 檢驗：兩組平均數的比較
11.想玩轉t檢驗？你得從這一篇看起
12.就是要實用！t 檢驗的七十二變
13.不是正態分佈，t 檢驗還能用嗎？
14.只有15個標本，也能指望 t 檢驗嗎？
15.樣本分佈不正態？數據變換來救場！
16.數據變換的萬能鑰匙：Box-Cox變換
17. t 檢驗用不了？別慌，還有神奇的非參數檢驗
18.只講 p 值，不講效應大小，都是耍流氓！
19.找出 t 檢驗的效應大小，對耍流氓 say no！
20.用置信區間，就是這麼（不）自信！
21.如何確定 t 檢驗的置信區間
22.優雅秀出你的 t 檢驗，提升Paper！
23.要做 t 檢驗，這兩口毒奶可喝不得！
第 4 章 方差分析（ANOVA）：多組平均數的比較
24.要比較三組資料，t 檢驗還能用嗎？
25.ANOVA在手，多組比較不犯愁
26.ANOVA的基本招式你掌握了嗎？
27.ANOVA做出了顯著性？事兒還沒完呢！
28.聽說，成對t檢驗還有ANOVA進階版？
29.重複測量ANOVA：你要知道的事兒都在這裡啦
30.沒聽說過多因素 ANOVA ？那你就可就 OUT 了！
31.多因素ANOVA＝好幾個單因素ANOVA？可沒這麼簡單！
32.兩個因素相互影響，ANOVA結果該如何判讀？
33.ANOVA還能搞三四五因素？等等，我頭有點兒暈
作者：張之昊
編輯：黑草烏葉
留言列表
