偏微分在AI中是一個非常重要的工具，像是梯度下降優化在訓練神經網絡等機器學習模型時，常常使用梯度下降等優化算法來調整模型參數以最小化損失函數。偏微分提供了這些算法所需的梯度信息，指示了參數空間中損失函數的下降方向，從而使優化過程更有效率。
還有反向傳播算法，它利用了鏈式法則(Chain rule)計算損失函數對參數的偏導數，從輸出層向輸入層傳遞梯度，以調整模型中的權重和偏差。
最後還有模型評估，偏微分可以用於評估模型的穩定性和響應性。通過計算模型參數的微小變化對輸出的影響，可以評估模型對輸入的敏感性，保證模型的穩定和可靠
說了這麼多，馬上開始吧
我們將f對x的偏導數和f對y的偏導數定義如下
多維空間的偏微分
其中，偏微分有超多種寫法
表示方法
下面是多階導數的表達，要特別注意順序
特別注意，偏微分前後順序更換，結果不變
切平面(tangent plane)與線性近似
切平面方程可以寫成如下
而線性近似在x, y時可以這樣表示
偏微分中的鏈式法則(Chain rule)
如果x, y, z都是t的函數，(dz/dt)表示如下
如果x, y, z是t和s的函數，則可以這樣表示z的偏微分
對於多變數同理，就多做幾次就好了
偏微分中的隱微分
隱微分有個好用的公式如下
那麼對z也一樣
方向導數及梯度向量
方向導數
也等於，其中u = <a, b>, u是單位向量
梯度向量
所以我們知道
本篇文章到此結束，文章整理了許多微調像loss function常用的公式，寫AI模型時，可以直接套進去使用並微調喔
自動引用通知: Pytorch教學2 機器學習的原理與模型建置 - kodo-ai_interaction