機器學習裡不存在的免費午餐:No Free Lunch Theorems

不久之前參加了國內資料科學 / AI 的年度盛事,一方面有感於機器學習領域近年的飛速發展,另一方面覺得衍生的誤解與迷思幾乎也用同樣的速度在擴散,連 Facebook 的 AI 大神 Yann LeCun 在接受訪談的時候都明白表示希望大家不要再用魔鬼終結者的形象來解釋 AI ,因為這種印象完全是錯誤的。

通往線性代數的聖母峰 : 特徵值分解(EVD)、奇異值分解(SVD) 與主成分分析(PCA)

聖母峰的譬喻很有趣,原文來自交大周志成老師的線代啟示錄部落格,周老師文章裡曾說線代領域有兩座聖母峰,一座叫Jordan Form用來判斷矩陣相似問題,另一座就是奇異值分解(SVD,Singular Value Decomposition)。 特徵值( Eigenvalue )、奇異值( Singular Value )以及相關的矩陣觀念(正交、正規、跡數、對稱、轉置共軛、么正、可逆與不可逆、行列式、實數域與複數域、正定與半正定、可對角化、相似、秩…etc )在線性代數中都是重要的觀念,不過篇幅有限不可能一一討論,所以本文的重點將放在 SVD 的原理與類似方法的比較,因此延伸的線性代數知識都將予以簡化或略過以免模糊焦點。