通往線性代數的聖母峰 : 特徵值分解(EVD)、奇異值分解(SVD) 與主成分分析(PCA)

聖母峰的譬喻很有趣,原文來自交大周志成老師的線代啟示錄部落格,周老師文章裡曾說線代領域有兩座聖母峰,一座叫Jordan Form用來判斷矩陣相似問題,另一座就是奇異值分解(SVD,Singular Value Decomposition)。 特徵值( Eigenvalue )、奇異值( Singular Value )以及相關的矩陣觀念(正交、正規、跡數、對稱、轉置共軛、么正、可逆與不可逆、行列式、實數域與複數域、正定與半正定、可對角化、相似、秩…etc )在線性代數中都是重要的觀念,不過篇幅有限不可能一一討論,所以本文的重點將放在 SVD 的原理與類似方法的比較,因此延伸的線性代數知識都將予以簡化或略過以免模糊焦點。

主成分分析(Principal Component Analysis)與因素分析(Factor Analysis)

許老師上研究方法的時候說,很多人的論文都會用 survey,所以中文稱為因素分析的 Factor Analysis 很重要。我有時候也會被問到一些相關的問題,常常許多人弄不清楚主成分(份?)分析與因素分析之間的使用情境差異,趁著空檔整理拼湊一下。 劈頭而來的困惑是,為什麼問卷很常用所謂主成分分析( PCA , Principal Component Analysis)或是因素分析? 這個問題必須回到問卷來,不妨問問研究者本身到底想要從問卷中得到什麼呢? 如果一篇研究只是想要比較 A、 B 兩個人在同一份問卷的回答差異,那麼壓根不需要因素分析的。 主成分(份?)分析與因素分析的使用情境: 範例問題: 第一個回答者 非常不同意 不同意 普通 同意 非常同意 1. 對於該網站所提供的產品品質與功能,是值得信賴的。 1 2 3 4 5 2. 我認為該網站提供的產品內容是正確無誤的。 1 2 3 4 5 3. 我覺得該網站會遵守其對消費者所設立的規則與承諾 1 2 3 4 5 第二個回答者 非常不同意 不同意 普通 同意… Continue Reading