行列微分

数学 線形代数

スカラー関数のベクトル微分

多変数実数値関数\,\,f: \mathbb{R}^d \to \mathbb{R}と \mathbf{x}=(x_1,x_2, \dots , x_d)^Tに対しfのベクトル微分を$$\frac{\partial f}{\partial \mathbf{x}}=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\dots \frac{\partial f}{\partial x_d})^T$$と定義する．このとき次が成り立つ．

\begin{align} \frac{\partial (\mathbf{y}^T\mathbf{x})}{\partial \mathbf{x}}=\mathbf{y}.\end{align} \begin{align}\frac{\partial \mathbf{x}^T\mathbf{A}\mathbf{x}}{\partial \mathbf{x}} = (\mathbf{A} + \mathbf{A}^T)\mathbf{x} \end{align}

スカラー関数の行列微分

多変数実数値関数\, f: \mathrm{Mat}(m, n) \to \mathbb{R}と\mathbf{A}=(a_{ij})_{ij}に対しfの行列微分を$$\frac{\partial f}{\partial \mathbf{A}}=(\frac{\partial f}{\partial a_{ij}})_{ij}$$と定義する．このとき次が成り立つ．

\begin{align}\frac{\partial \mathbf{x}^T \mathbf{A} \mathbf{y}}{\partial \mathbf{A}}=\mathbf{x}\mathbf{y}^T\end{align} \begin{align}\frac{\partial \mathbf{y}^T\mathbf{A}\mathbf{A}^T\mathbf{x}}{\partial \mathbf{A}}=(\mathbf{x}^T\mathbf{y} + \mathbf{y}\mathbf{x}^T)\mathbf{A}\end{align}