多変量解析~多変量正規分布の標準化~

1変量の時の標準化はそんなに苦では無いですよね?ここではp変量の多変量正規分布の標準化をやっていきたいと思います。

まずは多変量正規分布の確認

$\boldsymbol{X} \sim N(\boldsymbol{\mu},\Sigma)$ とする。 $\Sigma$ は正定値行列より $\Sigma = CC^{\mathrm{T}}$ なる正則行列 $C$ が存在する。

多変量正規分布

$f(\boldsymbol{x}) = \frac{1}{(2\pi)^{\frac{p}{2}}|\Sigma|^{\frac{1}{2}}} \exp \{-\frac{1}{2}(\boldsymbol{x-\boldsymbol{\mu}})^{\mathrm{T}}\Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu}) \}$

標準化

$\boldsymbol{Y} = C^{-1}(\boldsymbol{X}-\boldsymbol{\mu})$ とする。これの逆変換が $\boldsymbol{x} = C\boldsymbol{y} + \boldsymbol\mu$ で与えられる。

ヤコビアンを求めておきます。

$$
J(y_1,\cdots,y_p) = \mod \left|
\begin{array}{ccc}
\frac{\partial x_1}{\partial y_1} & \cdots & \frac{\partial x_1}{\partial y_p} \\
\vdots & \ddots & \vdots \\
\frac{\partial x_p}{\partial y_1} & \cdots & \frac{\partial x_p}{\partial y_p}
\end{array}
\right|
= \mod \left|
\begin{array}{ccc}
c_{11} & \cdots & c_{1p} \\
\vdots & \ddots & \vdots \\
c_{p1} & \cdots & c_{pp}
\end{array}
\right| = \mod |C|
$$

また、 $\Sigma = CC^{\mathrm{T}}$ より

$C^{-1}\Sigma(C^{\mathrm{T}})^{-1} = I$

この時、

$|C^{-1}| | \Sigma | | (C^{\mathrm{T}})^{-1} = |I|$
$\frac{1}{|C|} |\Sigma| \frac{1}{|C|} = 1$
$|\Sigma| = |C|^2$

である。これらから

$g(\boldsymbol{y})dy_1\cdots dy_p = f(\boldsymbol{x})dx_1 \cdots dx_p$
$= \frac{1}{(2\pi)^{\frac{p}{2}}|\Sigma|^{\frac{1}{2}}}\exp \{-\frac{1}{2}(C\boldsymbol{y} + \boldsymbol{\mu} - \boldsymbol{\mu})^{\mathrm{T}} \Sigma^{-1} (C\boldsymbol{y} + \boldsymbol{\mu} - \boldsymbol{\mu}) \} J(y_1,\cdots,y_p) dy_1\cdots dy_p$
$= \frac{1}{(2\pi)^{\frac{p}{2}}|C|} \exp \{-\frac{1}{2} (C\boldsymbol{y})^{\mathrm{T}} \} (CC^{\mathrm{T}})^{-1} (C\boldsymbol{y}) \mod |C| dy_1\cdots dy_p$
$= \frac{1}{(2\pi)^{\frac{p}{2}}} \exp \{-\frac{1}{2}\boldsymbol{y}^{\mathrm{T}}C^{\mathrm{T}} (C^{\mathrm{T}})^{-1} C^{-1}C \boldsymbol{y} \}dy_1\cdots dy_p$
$= \frac{1}{(2\pi)^{\frac{p}{2}}} \exp \{-\frac{1}{2} \boldsymbol{y}^{\mathrm{T}} \boldsymbol{y} \} dy_1\cdots dy_p$
$\therefore g(\boldsymbol{y}) = \frac{1}{(2\pi)^{\frac{p}{2}}} \exp \{-\frac{1}{2} \boldsymbol{y}^{\mathrm{T}} \boldsymbol{y} \}$