前言

這幾天的文章會是一系列的，會需要一起看才比較能看懂整個ML模型的輪廓，
然而因為一天能寫的內容量有限，所以我會在前言部分稍微說明我寫到哪。

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ 「訓練一個ML模型」的整個過程：這裡以「監督式學習(Supervised Learning)」為例

★ 從上面的訓練中，找到「最好的」ML模型：【Day 27】

原因：「訓練好一個模型」不等於「找到最好的模型」

★小實驗系列：

Course - Launching into Machine Learning

第四章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

• Generalization and Sampling
  • Introduction to Generalization and Sampling
    • Introduction
  • 「Generalization」
    • Generalization and ML Models
    • 「When to Stop Model Training」
  • Sampling
    • Creating Repeatable Samples in BigQuery
  • Demo of Splitting Datasets in BigQuery
  • Lab: Creating Repeatable Dataset Splits
    • Lab Introduction
    • Lab: Creating Repeatable Dataset Splits in BigQuery
    • Lab Solution Walkthrough
  • Lab: Exploring and Creating ML Datasets
    • Lab Introduction
    • Lab: Exploring and Creating ML Datasets
    • Lab Solution Walkthrough
  • Module Quiz

0. 先整理今天重點

★ 何時停止訓練，加上「驗證用資料集」的整個ML模型訓練過程：

★ 評估模型好壞的方法：

1. When to Stop Model Training

課程地圖

• Generalization and Sampling
  • Generalization
    • When to Stop Model Training

為了幫助我們能建立適合的ML模型，
(例如線性回歸(linear regression)或神經網路(neural network))
我們可以使用驗證資料集(validation dataset)來幫助調整適合模型的「超參數(hyperparameters)」

複習：

「超參數(hyperparameters)」指的是在訓練前就設定好的參數。

1.1. 「驗證用」資料集(validation dataset)

調整「超參數(hyperparameters)」的過程是透過連續進行訓練完成的，
然後我們再將這些訓練與對應獨立的「驗證用資料集(validation dataset)」進行驗證，
確認沒有「過度擬合(overfitting)」的現象。

這裡顯示出我們的「驗證用資料集(validation dataset)」在訓練期間是如何被使用的。

在最佳化的過程中，訓練模型的過程：
(一開始參數皆為隨機生成)

- 從目前「模型參數的權重(weight)」計算「導數(derivative)」 - 觀察「梯度下降(gradient descent)」的loss曲線方向 - 嘗試透過修改「模型參數(parameters)」最小化loss指標 - 然後重複

自己的註：

這邊稍微補點數學說明，為什麼第一點的參數只看「權重(weight)」?
因為bias是常數項，微分會消失。
例如：y=ax+b，微分我們只需在意a，就不用在意b了。

現在，我們還需要定期的使用「訓練未看過」的數據，
我們稱為「驗證用資料集(validation dataset)」，來評估模型目前的性能，

在完成一次完整的訓練後，我們依照「驗證用資料集」驗證模型的結果，
看目前的「超參數(hyperparameters)」是否有用，是否可以進行更多的調整。
如果「訓練用資料集」與「驗證用資料集」計算的loss差不多，
那我們可以考慮先停下來，並重新優化「超參數(hyperparameters)」。

而只要對損失指標進行了充分優化，並通過了「驗證用資料集」的驗證，
(記得時間點是：在兩個資料集loss開始出現一些差異，但未達到「overfitting」的狀態時)
這時我們就應該先停止訓練，然後決定這個模型是否可以投入生產。

現在我們也可以用類似的循環去調整各個ML模型的參數，
就像我們在訓練前對「超參數(hyperparameters)」所進行的操作一樣。

例如：如果神經網路的層數或應該使用的節點數。
類似「超參數(hyperparameters)」一樣，會在「訓練前」就先設定好的。

你將會使用其中一種配置(例如一個只有六個節點的神經網路)，
然後再訓練另外一種，最後都用「驗證用資料集」來看哪一種配置表現得更好。
最後，我們會選擇一種模型配置，這個配置能夠使「驗證用資料集」產生出最少的loss。
(記得：上章我們提過，如果只是讓「訓練用資料集」loss最小是不夠的。)

★ 自己做個小結論，加上「驗證用資料集」的整個ML模型訓練過程：

- 使用「訓練用資料集」訓練模型(調整參數) - 重複1.，直到通過「驗證用資料集」結束訓練(未達到「overfitting」的狀態前) - 調整「超參數(hyperparameters)」或神經網路的「layer數」或「使用的node數」 - 重新1.2.3.，直到找到能使「驗證用資料集」最小的loss，完成全部訓練 - 並可以開始決定要不要將此ML模型投入生產。

(google提供的輔助工具：)
在之後的課程中，我們也會用Cloud ML Engine示範在「超參數空間(hyperparameter space)」做bayesian short search，
也就是說我們不需要一次對一個「超參數(hyperparameter)」進行此實驗。
Cloud ML的引擎能幫忙我們使用不同的最佳化策略，
並且以平行處理的方式進行實驗。

1.2. 獨立的「測試用」資料集(test dataset) 評估法

當我們完成訓練之後，我們必須還要能告訴別人這模型有多好。

• 那麼，你打算將哪個資料集作為最終通過與不通過的評估?

這樣想是不行的，因為我們已經用了「驗證資料集」作為停止我們訓練的依據，
這樣表示「驗證資料集」已經不是獨立的了(模型已經看過了)。
我們可以先想想該怎麼辦?

自己的註：

如果又拿這組「驗證資料集」，我們的模型是在確定「驗證資料集沒問題」的情況下才停止訓練，
也就是說模型一定已經對於「訓練資料集」、「驗證資料集」都很清楚且能夠得到高分。
所以我們還必須使用「其他的資料集」來證明這模型的預測是好的。

所以，我們必須在一開始就將資料集分成三等份：

• training：訓練用資料集
• validation：驗證用資料集
• test：測試用資料集

只要我們的模型開始被訓練或驗證，我們就可以做「一次」分類，
而且要注意的是，這分類從頭到尾只能夠使用「一次」。

自己的註：

這邊指的意思應該是，「訓練用資料集」、「驗證用資料集」、「測試用資料集」，
一旦被決定了，就不能任意再重分，
因為一組資料集只要被模型看過一次，如果再被看過第二次，這樣的測試就是不獨立的。

而這組「測試用資料集」的結果正是我們可以告訴別人我們的模型有多好的依據，
我們可以拿這組「測試用資料集」的loss作為指標，決定要不要拿來生產用。

那至於如果我們在「測試用資料集」中預測的很差呢?
甚至是我們好不容易都通過了「驗證用資料集」的檢查。

那就表示我們不可以重新測試同樣的ML模型，我們應該要重新訓練全新的ML模型。
或者是收集更多的資料，去提供更多的新資料給你的ML模型。

自己的註：

所以「測試用資料集」失敗就可以開始思考直接砍掉重練的意思嗎QQ

1.3. 「交叉驗證(cross-validation)」與「bootstrapping」 評估法

我們再來思考一個很小很小問題，雖然目前這方法已經很好了。
沒有人喜歡浪費資料，但「測試用資料集」只使用了一次，
似乎很浪費，但他有被保留下來。

我們難道不能在訓練時使用所有的資料，然後依然能合理的告訴別人模型的表現嗎?

答案是可以的。

這方法就是我們將「訓練用資料集」、「驗證用資料集」拆分成好幾等分，並且在不同的時間使用。

訓練後並使用「驗證用資料集」計算Loss，這個「驗證用資料集」可能包含「第一次訓練」中未使用的資料，
然後我們再重新拆分資料，現在我們的「訓練用資料集」可能包含著「第一次驗證」時所使用的資料，
然後我們可能需要進行多次的「迭代(iteration)」。

最後在多輪的「迭代(iteration)」之後，我們可以對於整個「驗證用資料集」進行loss的平均，
我們就會得到整個「驗證用資料集(validation)」的loss標準差，
這個值能夠幫助我們分析最終loss與它們的散佈情形。

這樣的方法我們稱為「交叉驗證(cross-validation)」或「bootstrapping」，
他的好處是，我們可以使用到所有的數據，但由於要將模型拆分成很多等份，
因此我們也必須要訓練很多次。

1.4. 評估方法小結論

• 如果你有大量的資料集，你應該使用獨立的「測試資料集」測試，並判斷這個模型訓練有沒有通過。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 27】 Google ML - Lesson 11 - 我們應該何時停止ML模型的訓練? 利用驗證資料集, 測試資料集, 交叉驗證(cross-validation) 評估模型訓練結果的好壞

參考資料

• coursera - Launching into Machine Learning 課程

• 若圖片有版權問題請告知我，我會將圖撤掉