文章目錄
在學習人工智慧（AI）和深度學習（Deep Learning）時，讀者一定常會聽到一個關鍵詞彙 —— Activation Function（激活函數）。
乍聽之下似乎相當艱深，但其實它是讓神經網路「變聰明」的關鍵角色。它不只是單純的數學運算，而是神經網路中的思考開關，決定每一個神經元是否該被啟動，使整個模型具備非線性判斷與選擇的能力，進而處理複雜的邏輯問題。
在 AI 時代，我們學的不只是寫程式和套用模型，更重要的是理解 AI 背後的運作邏輯，也就是培養基本的 AI 素養：
🔹 能夠理解 AI 的運作邏輯
🔹 做出合理性選擇與批判性思考
🔹 不被 AI 所控制，而是與它協作
從這樣的 AI 素養出發，Activation Function 不再只是技術細節，而是一種讓 AI 能「思考」的設計智慧。
本文將從最簡單的角度出發，幫助讀者理解什麼是激活函數、為什麼它如此重要，並帶你認識幾個常見的函數是如何實際應用在神經網路中。透過這樣的學習過程，我們不只掌握一項技術，更邁出了理解 AI 思維方式的重要一步。
1. Activation Function 是什麼？
Activation Function 是用來決定「神經元是否啟動」的數學函數。
每一個神經元（類似大腦中的神經細胞）會收到來自前一層的輸入值，經過加總計算後會把這個結果丟進激活函數，根據結果決定輸出多少訊號給下一層。
👉 換句話說，它像是一個「判斷邏輯」或「思考閘門」。
🧠 比喻一下：
假如你是一個老師，當有學生交作業給你時，你需要依據學生的作業表現打成績。你設定規則：
- 如果作業分數 ≥ 60 ➜ 及格，給通過（代表激活）
- 如果作業分數 < 60 ➜ 不及格，給零分（代表不激活）
這個「大於等於 60 分就及格」的規則，就是一種最簡單的 Activation Function。
2. 為什麼需要 Activation Function？
這裡是一個你一定會遇到的問題：
👉 如果沒有 Activation Function，神經網路就會變成一個超級無聊的線性模型。
也就是說，無論你加多少層，它們的輸出都只是原始資料線性的「比例縮放」，根本無法學習複雜的模式或語意。
👉 如果加入 Activation Function，就像是在模型中加入了「彎曲」的能力。
這樣神經網路才有辦法學會例如貓狗圖片分類、情緒分析這類非線性的複雜問題。
這個「規則」就是一種最簡單的 Activation Function。而神經網路，就是靠這樣的邏輯來決定哪些訊號重要、哪些不重要。
3. 常見的 Activation Functions 介紹
以下是你在建立 AI 模型時最常遇到的幾種 Activation Function（激活函數）：
1️⃣ ReLU（Rectified Linear Unit）
- 公式：
f(x) = max(0, x) - 輸出範圍： 只要輸入是正數就輸出原值，否則輸出 0
- 優點： 簡單、計算快速，而且在深度網路中效果好，不容易造成梯度消失
- 缺點： 輸入為負時會完全沒反應（死神經元問題）。也就是若遇到太多負數時，可能讓神經元「死掉」。
- 用途：現在大多數的神經網路都會把隱藏層的激活函數設為 ReLU！
🧠 AI 素養思考：如果輸入資料有很多負值特徵，例如財務損失、溫度偏低，ReLU 會不會忽略掉這些「可能有意義」的訊號呢？
2️⃣ Sigmoid 函數
- 公式：
f(x) = 1 / (1 + e-x) - 輸出範圍： 0 到 1（很適合表示機率）。
- 優點： 能將數值轉為「看起來像機率」的結果。
- 缺點： 輸入太大或太小時，梯度幾乎為 0，容易學不動。也就是容易出現梯度消失問題（尤其在深層網路）。
- 用途：常用在二元分類的最後一層輸出。
🧠 AI 素養思考：如果 AI 說這封信是垃圾郵件的機率是 0.98，我們是否就能完全信任它的判斷？那這個「機率」是怎麼算出來的？
3️⃣ Tanh（雙曲正切函數）
- 公式：
f(x) = tanh(x)，也就是f(x) =(ex – e-x) / (ex + e-x) - 輸出範圍： -1 到 1
- 優點： 輸出平均為 0，有助於快速收斂。
- 缺點： 雖比 Sigmoid 更平衡（因為有負值），但一樣有梯度消失問題。
- 用途：有時用在取代 sigmoid，讓模型收斂得更快。
🧠 AI 素養思考：為什麼有時候我們希望模型輸出的平均值是 0？這樣做有什麼數學上的意義？
4️⃣ Softmax 函數
- 功能： 將多個輸出轉換成機率分布（全部加起來 = 1）
- 應用： 多分類任務（例如：這張圖片是貓、狗還是鳥？）
🧠 AI 素養思考：如果一張圖片同時像狗又像狼，AI 是怎麼做出「最可能是狗」的結論？
4. 不同任務怎麼選 Activation Function？
| 應用場景 | 建議函數 |
|---|---|
| 隱藏層常用 | ReLU 或 Leaky ReLU。因為快又有效 |
| 二分類輸出(輸出層選擇) | Sigmoid |
| 多分類輸出(輸出層選擇) | Softmax |
| 遞迴神經網路（RNN） | Tanh、Sigmoid |
4. AI 素養補充：這些數學公式，其實是在幫 AI「做決定」
AI 模型並不是會魔法的機器。
它所做出的「判斷」與「預測」，其實都是建立在一層層的數學轉換與參數調整上。
沒有激活函數，神經網路就像一個沒有靈魂的數學公式。而正是因為這些激活函數，我們才能打造出會學習、會辨識、會預測的人工智慧！
所以我們要問的不是：
「AI 說這個人會生病，所以我就相信它」
而是應該思考：
「AI 是根據什麼資料與轉換邏輯做出這個判斷？」
「這些邏輯是否合理？是否包含偏見或限制？」
學會 Activation Function，不只是理解神經網路的運作方式，也是進入 AI 世界的一個很重要的素養能力。下次讀者在搭建神經網路模型時，別忘了這些小小卻關鍵的函數，讓你的 AI 更加聰明有力！
如果你想更進一步理解 Activation Function 怎麼「視覺化運作」，可以參考 TensorFlow Playground｜互動式探索，輕鬆理解視覺化神經網路 這篇詳細介紹，並試試文章中所介紹超酷的互動網站！或是參考 Activation Functions 這個網站。
如果大家想要多了解一些 AI 或 生成式 AI 的基礎概念，可以參考這一本書《 「生成式⇄AI」：52 個零程式互動體驗，打造新世代人工智慧素養 》，或是 SimpleLearn｜Online 課程，它將帶領讀者在不會程式、不會數學也OK!的情況下，了解整個 AI 到 生成式 AI 的相關觀念及應用，不僅可以建立最完整的 AI 入門知識，更是培養 AI 素養的最好學習內容。
如果你喜歡這篇文章歡迎訂閱、分享(請載名出處)與追蹤，並持續關注最新文章。同時 FB 及 IG 也會不定期提供國內外教育與科技新知。