前言

這幾天的文章會是一系列的，會需要一起看才比較能看懂整個ML模型的輪廓，
然而因為一天能寫的內容量有限，所以我會在前言部分稍微說明我寫到哪。

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」：這裡以「監督式學習(Supervised Learning)」為例

★小實驗系列：

而今天的文章我們先不討論新東西，我們來做點小實驗。

Course - Launching into Machine Learning

第三章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

• Optimization
  • Introduction to Optimization
    • Introduction
  • Defining ML Models
    • Defining ML Models
    • Introducing the Natality Dataset
  • Introducing Loss Functions
  • Gradient Descent
    • Gradient Descent
    • Troubleshooting a Loss Curve
    • ML Model Pitfalls
  • 「TensorFlow Playground」
    • 「Lab: Introducing the TensorFlow Playground」
    • Lab: TensorFlow Playground - Advanced
    • Lab: Practicing with Neural Networks
    • Loss Curve Troubleshooting
  • Performance Metrics
    • Performance Metrics
    • Confusion Matrix
  • Module Quiz

1. Lab: Introducing the TensorFlow Playground

課程地圖

• Optimization
  • TensorFlow Playground
    • Lab: Introducing the TensorFlow Playground

所以，我們現在知道「gradient descent」是如何運作的，
我們現在先使用一些工具來看看這方法實際上運作會是怎麼樣。
你應該會看到很多我們之前有提到的現象。

「TensorFlow Playground」是一個非常強大的工具，
他能幫助我們視覺化「neural networks」是如何運作的。
(「neural networks」稍後章節我們就會介紹了)
事實上，我們現在所介紹的「linear models」就是一種簡化的「neural networks」
所以這個工具也很適合做「linear models」的視覺化呈現。

我們會用這個工具來證明我們前面所說的理論知識，可以使我們對ML更有直覺，
我們也會直接了解「設定「learning rate」」與ML模型是如何降低梯度的。

我也會指出這些內容與之後主題的關係，這些都會在之後的課程有更深入的探討。
首先，我們先看一下介面，
我們先刪除了某些工具的功能，因為他與我稍後將介紹的內容才有關係，
但依然有許多有趣的功能是我們可以使用的。

1.1. 介面介紹

隨著模型的訓練，這條線的寬度與不透明度會逐漸改變，
這樣的視覺化表示也方便我們能夠快速的理解他們的值。

這邊都會以「顏色」來表示值(「features」)

• 最上方的控制列包含著「重新設定訓練, 開始訓練, 執行單個步驟」的按鈕

• 還有一個可以下拉的列表，可以調整我們的「learning rate」

• data欄位允許我們選擇不同的資料集，並且也能控制「batch size」的大小

1.2. 開始訓練

我們就先以訓練一個「linear model」來替我們分類資料開始吧!

• 這邊我們可以參考範例連結：https://goo.gl/EEuEGp

(這圖我另外截的XD，上面寫"「Don’t Worry, You Can’t Break It. We Promise.」“滿有喜感的XD)
「可惡，越是這樣講越讓我想嘗試玩壞看看」

當我們點進連結後，我們就會看到TensorFlow Playground的介面，，
我們先介紹一下目前畫面上的配置(不用擔心沒有hidden layers的問題)，
在目前我們所看到的介面設定中，這個模型接受一個「feature vector」，
並與「weight factor」計算內積，再加上「bias」，
然後使用計算結果去建立「決策邊界(decision boundary)」。

因此我們可以將目前的配置視為「linear model」，
我們現在會開始訓練這個model，讓他去嘗試分類一些屬於兩大不同族群的資料。

• 我們點擊畫面上的step鍵(紅框處)，我們會注意到畫面開始有ㄧ些變化。

- 「epochs」的數值增加1 - 我們說代表「weights」的線換了顏色、也改變了大小 - 現在「loss function」的值也改變了

• loss的圖形顯示了往下的斜率

• output的「決策邊界(decision boundary)」也產生了改變

我們移動一下滑鼠靠近目前代表1的「weights」，觀察一下「weights」目前的大小，

我們現在點擊play的按鈕讓他繼續訓練，但當loss小於0.002時我們就先暫停一下。
(應該會在200 epochs以內)

這時，我們已經完成訓練我們的第一個模型了!

1.3. 小實驗 - 「learning rate 的改變對訓練過程的影響」

現在讓我們稍微改變一點東西，

首先我們先看不同的「learning rates」是怎麼影響模型訓練的。

簡單複習一下：

「learning rate」是「hyperparameter」，也就是在訓練模型前設定的。
這個值會乘上偏微分的結果，並決定我們「weights」要改變(之前我們說的「移動」)的量，

• 現在的loss是多少?
• loss的變化是怎麼樣的?
• 然後我們的模型變成了怎麼樣的「weights」?

(調整「learning rate」的位置)

我們觀察loss的曲線下降的速度，應該是非常急遽的下降的。

當我們把這些訓練結果放在一起，我們比較這四種的變化，
並試著用我們學到的最佳化知識解釋看看原因，

(上面這張表是影片實驗結果的整理，正常來說我們的結果應該會有點不一樣，而重跑實驗也會有點不一樣也是同理。)

「TensorFlow Playground」幫我們隨機初始化了「權重(weights)」，
這也表示我們每次的搜尋都從一個隨機位置開始。

為什麼呢?

因為我們的模型在訓練的時候走比較大步。
而事實上，當「learning rate」為10時，「第一步」改變的「weight」最為顯著。

• 而我們再看「loss over time」那一直行：

我們發現當「learning rate」增加，「loss曲線」也逐漸變陡。
這正與我們之前所分析的結果相同。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 24】 Google ML - Lab 4 - TensorFlow Playground - 讓我們在視覺化的網頁中體驗一下訓練ML模型吧！learning rate 改變對訓練過程的影響

參考資料

• coursera - Launching into Machine Learning 課程

• 若圖片有版權問題請告知我，我會將圖撤掉