一場關於猜的魔術:統計估計的形成

估計其實就是猜。

我們每天都在猜測關於下一秒鐘可能發生的情況,譬如最近豪雨成災,自家附近到底會不會淹水,有人告訴你可能會,這是猜測。歐債問題持續無解,經濟到底何時復甦,分析師估計說一年後,大老闆則說兩年內,兩個人都在猜。

猜測是有層次的,科學化的猜測就叫估計,統計學當中估計是一個重要的學問,沒有估計,就沒有後續的建模與檢定,也就是,當估計的性質被破壞,那麼模型與檢定的結果就會有問題。正因為統計估計如此重要,本文緊接著將探討各種統計估計的方法及內涵。

GUESS WHAT

統計估計:點估計與區間估計

統計估計包括了點估計( Point Estimation )以及區間估計( Interval Estimation ),定義來說,所謂估計就是利用樣本統計量去推測母體參數,推測的結果可以是猜測一個點為真值,也可以是猜測真值會落在一個區間當中。

站在路口等紅綠燈,看見一個上班族走過來,我猜他大約有 180 公分。這是點估計。

但是男子的真實身高是多少實際上我是不知道的,於是關於身高的這份猜測有多少準確性自是無從得知,這樣當然不能稱為科學了。

所以區間估計其實是點估計的ㄧ個補強,它在點估計之外多考慮了變異的因素,以此構成可能範圍的上下界,關於推估的事前準確機率就是信心水準,待樣本取出後,機率非0即1。

某信心水準下的區間經常稱為信賴區間,就是因為它並非是區間中包含母體真實參數的機率,只能當成「可信賴的程度」。
統計上,怎麼樣產生一個好的估計與如何評估一個估計的價值,兩者可說是同等重要的。

由於區間估計事實上是兩個點估計的組合,以平均數的區間估計為例,它使用了一個推估母體平均數的點估計以及一個母體變異數(當然你也可説是標準差)的點估計。因此稍後的內容都會以點估計的討論為主。

假設分配為常態,且母體變異數未知,平均數的區間估計會如下列公式:

統計估計-點估計-區間估計-公式-1

3 種常見的統計估計方法

暫且不提自成一派的貝式估計的話,執行點估計的常見基本計算方法有三種路線:

動差估計法( MM, The Method of Moment )

最小平方法( LSQ, The Method of Least Square )

最大概似估計法( ML, The Method of Maximum Likelihood )

並非每本統計書都會將 LSQ 的方法與其他兩者並列,但是 LSQ 在迴歸模型的建立上有其地位,而且也是比較多商學背景的學生更為熟悉的方法,在這裡就一起整理比較了。

動差估計法( MM, The Method of Moment )

統計估計-點估計-區間估計-公式-2

統計估計-點估計-區間估計-公式-3

有統計學家指出,動差估計量雖然不見得是最佳,通常仍有一定的水準,至少會具有不偏性( Unbiased )與一致性( Consistency ),但是動差估計量並非唯一,也不是充分性( Sufficiency )良好的統計量。

高雄大學應數系教授黃文璋在《數學傳播》第31卷2期 (p.3-20 )的文章裡寫到,動差估計是一個古典的方法,在 19 世紀,使用頻次( Frequency )進行估計是當時統計學的主流,這些統計學家也被稱為頻率學派( Frequentist )。

動差估計在 Hansen ( 1982 )提出一般化動差法( GMM, Generalized Method of Moment )後邁向一個新的里程碑, Hansen 把此方法擴展到所有的期望值關係,有關 GMM 的內容,就需要請讀者另外參閱計量相關的書籍了。

最小平方法( LSQ, The Method of Least Square )

時至今日,統計學還發展出了其他的估計方法,這些估計方法大多伴隨著其他良好統計量應該有的性質。

最小平方法( LSQ )就是其中之一,在線性迴歸模型的參數估計上,最小平方法是較為簡單的方法,而且會得到線性最佳的特性,這是它普及的主因。先前研讀統計文獻時曾看到學者提出,最小平方法可視為動差法的一個特例。

統計估計-點估計-區間估計-公式-4

從限制條件不難發現,誤差項的期望值應為0,然而實際上不太可能如此,退而求其次的辦法是找出誤差平方(考慮正負)最小者,平均而言應該能幫助研究者找到最貼近母體參數的參數估計,即最小變異性質。

最小平方法既與平均值有關,不可避免地容易受到離群值( Outlier )的干擾,這是其缺點。

根據高斯-馬可夫定理( Gauss-Markov Theorem ),一個符合迴歸基本假設的 OLSE 在線性下必為最佳線性不偏估計( BLUE, Best Linear Unbiased Estimator )。前面提過最小平方法的線性最佳即由此而來。

其中變異數同質的設定若被打破, OLSE 雖不再是 BLUE ,但仍為不偏一致估計。

通常,變異數不同質的時候我們會試圖執行資料轉換( Data Transformation ),看看轉換後是否能夠讓變異數較為符合同質設定。

最小平方法的缺陷

隨著迴歸模型應用變得廣泛, OLS 方法的其他問題也一一浮現。

迴歸模型中,自變數( X )不論屬於何種尺度或者虛擬變數,對模型都無太大影響,但是當應變數( Y )從連續變數變成順序、類別變數時,例如應變數取值 0 到 1 之間,變異數同質假設就會遭到破壞, OLS 估計不再是BLUE,模型檢定也變得很可疑。

因為這種不符假設的情況並不是每次都能透過資料轉換來解決,於是它就成了一大問題。

為了挽救不符假設時點估計的品質,統計學家發展出加權最小平方法( WLS, Weighted Least Squares ),簡而言之,就是把整個迴歸式除以誤差干擾因子或誤差干擾函數的絕對値,權重即為原先的斜率乘上誤差係數的倒數。

如此一來,模型又再次符合 OLS 變異數同質的假設,廣義而言它仍是一種資料轉換( Data Transformation )。

統計學家不僅滿足於此,他們還試圖用最小平方法處理殘差違反所謂 i.i.d. 假設的情形,其努力成果就是一般化最小平方法( GLS, Generalized Least Squares ),在估計式中加入了共變異數矩陣,使 GLS 能修正異質變異及自相關同時出現的情形。

最大概似估計法( ML, The Method of Maximum Likelihood )

關於點估計的最後一個計算路線是最大概似估計法( ML, The Method of Maximum Likelihood )

ML 方法不只名字聽起來抽象,連它的定義也是撲朔迷離:從各種可能的情況中,猜測一個最可能的値用來估計母體參數。

如果用生活實例來看待就簡單得多了:

想像你在便利商店外,看見兩個人一前一後衝出店門口,後來警察告訴你,一個是搶匪,一個是店員,請你協助判斷哪一個才是他們要抓的人,假如你有注意到其中一人手上抓著武器與裝現金的袋子,你會認為誰才是搶匪?

看起來認為拿武器與現金袋的人就是搶匪似乎合情合理,這就是最大概似估計的原意。不過既然是估計,還是有可能會誤判。如果一個估計量能符合好的估計量應有的幾種性質,那麼出錯的機會與嚴重程度就能大大降低。

ML 方法產生的統計量稱為最大概似估計量( MLE, Maximum Likelihood Estimator ), MLE 就具有許多良好的性質,例如在大樣本的時候它經常是 UMVUE ( Uniformly Minimum Variance Unbiased Estimator ),擁有漸近常態性( Asymptotic Normality )與漸近有效性( Asymptotic Efficiency )。

在脫離簡單線性與常態的迴歸世界裡, ML 或許是最普及的方法也不一定,建立在此法上的模型多半建議使用者要取數量較大的樣本,原因就是來自 MLE 統計量的大樣本良性。

使用機率表格來說明 ML 的概念是個好主意。
統計估計-點估計-區間估計-公式-6

案件 X 底下,現在找到了兩個可疑的犯人: 1/4 與 3/4 。最大概似估計法會猜測哪一個才是真正的「最大概似」呢?

顯然當 X = 0 時, P = 1/4 是合理的猜測;而 X = 3 時, P = 3/4 嫌疑較重。

在二項分配中因為 P 只有兩種,比較容易全數列出,當改為其他分配,參數也許增加為 N 種可能性,但最大概似估計的想法不變,一樣會找到最有可能是母體參數的值充當點估計,而它的一般化計算方法與先前推導最小平方法相同,透過偏微分求限制式極值,再解聯立方程式。

唯一的差別是,因為 ML 沒有限制母體分配的形式,若是遇上相乘函數求極值會有困難,這時候會對限制式取自然對數( Natural Logarithm ),將函數改為相加形式以方便計算,這是微積分與統計上常用的技巧。

統計估計與模型應用

一般說到統計的估計,內容不外乎前文中提過的內容與相關延伸。這或許是考試教育下累積起來的刻板印象,其實不論任何模型,整個統計推論只有兩個主要工作,估計以及檢定。

譬如迴歸,整個模型就是一個估計,估計的結果不只有一個值,也可以算出預測區間,針對所有的估計結果,統計都要進行檢定。

所以估計事實是比習慣上分章分段的印象更大的題目。

只是,從事任何估計,我們必然要先根據「已知結果」,找到不同「條件或假設」下合適的估計方法與參數估計,才能再根據所掌握的種種資訊去「推測未定結果」的可能性。

所謂模型,不如看成一種把已知結果與假設包裝好的情境工具,只要符合條件就能直接套用,不必每次執行估計都從頭推敲一次。

有人跟我說過,他覺得統計模型就像是魔術箱,資料丟進去,就能跑出一大堆號稱科學的結果。

說來是輕鬆,殊不知,每一次魔術表演的幕後,都藏著統計學家在漫長的歷史中堆積起來、掩不住的煞費苦心。

更多統計實用文章:

* DATA TRANSFORMATION的一些探討* 隨機性、大數法則與中央極限定理

* 統計R語言實作筆記系列 – 資料尺度與變數類型

* 服務科學課程回顧: 應用商業分析(APPLIED BUSINESS ANALYTICS)

* 維度縮減DIMENSION REDUCTION,通往線性代數的聖母峰 : 特徵值分解(EIGENVALUE DECOMPOSITION)、奇異值分解(SINGULAR VALUE DECOMPOSITION) 與主成份分析(PRINCIPAL COMPONENT ANALYSIS)

* 數大有時不美的統計性質

(Visited 9,418 times, 32 visits today)

Wendell.Huang

科技公司嫌棄太活潑,消費品牌挑剔太沉悶…, 經常必須解釋自己在學什麼, 不小心就摔破對方眼鏡的業餘書呆子。

2 Comments

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *