深度學習 – 理論篇:(2) 機器學習 101

我們在上一篇文章討論過了很多跟“學習”相關的專有名詞,我們這次要來討論一些在訓練模型的時候會很長看到的名詞(沒錯,我們還在名詞解釋的階段。但是這次所提到的專有名詞會跟實際操作/評估模型上會比較有關。 What are learning models? 我們首先要討論的東西就是模型。我們上次說機器學習是透過大量的資料(“經驗”)來學習一個任務。這些模型會根據一個目標函數(Objective Function)來學習如何完成一個特定的任務(分類、回歸、分群、關聯法則等)。並希望未來套用模型到同一個的任務上,也可以表現得不錯。 剛剛提到了目標函數,也有人會稱它為 Loss Function 或 Cost Function。原則上這幾個名詞是有差別的,但大家在平時對話時都會交替使用。目標函數主要衡量兩個東西: 損失(Loss): 衡量模型對訓練資料的表現(Measures how well the model fits on the training data) 正規化(Regularization): 衡量模型的複雜度(Measures the complexity of the model) Bias vs. Variance 我們在建造模型的時候會用 Bias 和 Variance 來形容一個模型有怎樣的失誤。如果我們的模型太複雜的話,會造成我們的模型 Variance 太高。而會在我們的訓練資料集 Overfit(在訓練資料表現得很好,而在測試資料表現得很差)。 如果我們的模型太簡單,則會造成我們模型過於 Biased。而會在我們的資料集 Underfit(無法做出穩定的判斷,換句話說就是亂猜啦)。 這也就是傳說中的 Bias-Variance Trade-off。我們會希望我們所訓練出來的模型會有適當的 Bias 和 …

深度學習 – 理論篇:(1) 什麼是學習?

深度學習在 2012 年 ImageNet 震撼了全世界,人工智慧與深度學習這個飛機已經停不下來了。而在這個人工智慧(AI)都被各行各業拿來當成騙人用的流行詞時,身為資管系的我們要知道什麼是 AI 才可以騙無知的愚民不會被騙。那麼我們先來探討一些詞。 名詞解釋 人工智慧(Artificial Intelligence, AI): 這個名詞主要是從 Alan Turing 1950 年在他的論文中所提出的一個問題: "I propose to consider the question, ‘Can machines think?’" 所激發出來的。後人就都把利用電腦(機器)來模擬人類 解決問題 和 經驗學習 統稱為人工智慧。有興趣的話可以再從一個更哲學的角度去探討這個問題。 "It is the science and engineering of making intelligent machines, especially intelligent computer program" — John McCarthy,人工智慧之父 機器學習(Machine Learning): 從人工智慧的定義中,我們很容易就可以推出機器學習是讓電腦在沒有明確的撰寫指令的情況下從過去的經驗中學習。學習的方式有很多種,例如:決策樹(Decision …