Многомерное нормальное распределение

Пример выборки из многомерного нормального распределения в пределах 3 сигм двух частных распределений

Многоме́рное норма́льное распределе́ние (или многоме́рное га́уссовское распределе́ние) в теории вероятностей — это обобщение одномерного нормального распределения. Случайный вектор, имеющий многомерное нормальное распределение, называется гауссовским вектором.

Определения

Случайный вектор $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }:\Omega \to \mathbb {R} ^{n}$ имеет многомерное нормальное распределение, если выполняется одно из следующих эквивалентных условий:

• Произвольная линейная комбинация компонентов вектора $\sum \limits _{i=1}^{n}a_{i}X_{i}$ имеет нормальное распределение или является константой (это утверждение работает только если математическое ожидание равно 0).
• Существуют вектор независимых стандартных нормальных случайных величин $\mathbf {Z} =(Z_{1},\ldots ,Z_{m})^{\top }$, вещественный вектор $\mathbf {\mu } =(\mu _{1},\ldots ,\mu _{n})^{\top }$ и матрица $\mathbf {A}$ размерности $n\times m$, такие что:

$\mathbf {X} =\mathbf {A} \mathbf {Z} +\mathbf {\mu }$.

• Существуют вектор $\mathbf {\mu } \in \mathbb {R} ^{n}$ и неотрицательно определённая симметричная матрица $\mathbf {\Sigma }$ размерности $n\times n$, такие что характеристическая функция вектора $\mathbf {X}$ имеет вид:

$\phi _{\mathbf {X} }(\mathbf {u} )=e^{i\mathbf {\mu } ^{\top }\mathbf {u} -{\frac {1}{2}}\mathbf {u} ^{\top }\Sigma \mathbf {u} },\;\mathbf {u} \in \mathbb {R} ^{n}$.

Плотность невырожденного нормального распределения

• Если рассматривать только распределения с невырожденной ковариационной матрицей, то эквивалентным будет также следующее определение:

Существует вектор $\mathbf {\mu } \in \mathbb {R} ^{n}$ и положительно определённая симметричная матрица $\mathbf {\Sigma }$ размерности $n\times n$, такие что плотность вероятности вектора $\mathbf {X}$ имеет вид::

$f_{\mathbf {X} }(\mathbf {x} )={\frac {1}{(2\pi )^{n/2}\vert \Sigma \vert ^{1/2}}}e^{-{\frac {1}{2}}(\mathbf {x} -\mathbf {\mu } )^{\top }\Sigma ^{-1}(\mathbf {x} -\mathbf {\mu } )},\;\mathbf {x} \in \mathbb {R} ^{n}$,

где $\vert \Sigma \vert$ — определитель матрицы $\Sigma$, а $\Sigma ^{-1}$ — матрица обратная к $\Sigma$

• Вектор $\mathbf {\mu }$ является вектором средних значений $\mathbf {X}$, а $\Sigma$ — его ковариационная матрица.
• В случае $n=1$, многомерное нормальное распределение сводится к обычному нормальному распределению.
• Если случайный вектор $\mathbf {X}$ имеет многомерное нормальное распределение, то пишут $\mathbf {X} \sim {\mathcal {N}}(\mathbf {\mu } ,\Sigma )$.

Двумерное нормальное распределение

Частным случаем многомерного нормального распределения является двумерное нормальное распределение. В этом случае имеем две случайные величины $X_{1},X_{2}$ с математическими ожиданиями $\mu _{1},\mu _{2}$, дисперсиями $\sigma _{1}^{2},\sigma _{2}^{2}$ и ковариацией $\sigma _{12}$. В этом случае ковариационная матрица имеет размер 2, её определитель равен

$\mathrm {det} \Sigma =\sigma _{1}^{2}\sigma _{2}^{2}-\sigma _{12}^{2}=\sigma _{1}^{2}\sigma _{2}^{2}(1-\rho ^{2}),$

где $\rho ={\frac {\sigma _{12}}{\sigma _{1}\sigma _{2}}}$ — коэффициент корреляции случайных величин.

Тогда плотность двумерного невырожденного (коэффициент корреляции по модулю не равен единице) нормального распределения можно записать в виде:

$f(x_{1},x_{2})={\frac {1}{2\pi \sigma _{1}\sigma _{2}{\sqrt {1-\rho ^{2}}}}}\exp \left\{-{\frac {1}{2(1-\rho ^{2})}}\left[{\frac {(x_{1}-\mu _{1})^{2}}{\sigma _{1}^{2}}}-\rho {\frac {2(x_{1}-\mu _{1})(x_{2}-\mu _{2})}{\sigma _{1}\sigma _{2}}}+{\frac {(x_{2}-\mu _{2})^{2}}{\sigma _{2}^{2}}}\right]\right\}$.

В том случае, если $X\sim {\mathcal {N}}(\mu _{1},\sigma _{1}^{2}),Y\sim {\mathcal {N}}(\mu _{2},\sigma _{2}^{2}),cov(X,Y)=\sigma _{12}$ (то есть $X,Y$ являются зависимыми), их сумма все еще распределена нормально, но в дисперсии появляется дополнительное слагаемое $2\sigma _{12}$: $X+Y\sim {\mathcal {N}}(\mu _{1}+\mu _{2},\sigma _{1}^{2}+\sigma _{2}^{2}+2\sigma _{12})$.

Свойства многомерного нормального распределения

• Если вектор $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }$ имеет многомерное нормальное распределение, то его компоненты $X_{i},i=1,\ldots ,n,$ имеют одномерное нормальное распределение. Обратное верно при независимости компонент.
• Если случайные величины $X_{1},\ldots ,X_{n}$ имеют одномерное нормальное распределение и совместно независимы, то случайный вектор $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }$ имеет многомерное нормальное распределение. Матрица ковариаций $\Sigma$ такого вектора диагональна.
• Если $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }$ имеет многомерное нормальное распределение, и его компоненты попарно некоррелированы, то они независимы. Однако, если некоторые случайные величины $X_{i},\;i=1,\ldots ,n$ имеют одномерные нормальные распределения и попарно не коррелируют, то отсюда не следует, что они независимы и имеют многомерное нормальное распределение.

Пример. Пусть $X\sim {\mathcal {N}}(0,1)$, а $\alpha =\pm 1$ с равными вероятностями и независима от указанной нормальной величины. Тогда если $Y=\alpha X\sim {\mathcal {N}}(0,1)$, то корреляция $X$ и $Y$ равна нулю. Однако, эти случайные величины зависимы и в силу первого утверждения абзаца не имеют многомерного нормального распредедения.

• Многомерное нормальное распределение устойчиво относительно линейных преобразований. Если $\mathbf {X} \sim {\mathcal {N}}(\mathbf {\mu } ,\Sigma )$, а $\mathbf {A}$ — произвольная матрица размерности $m\times n$, то

$\mathbf {A} \mathbf {X} \sim \mathrm {N} \left(\mathbf {A} \mathbf {\mu } ,\mathbf {A} \Sigma \mathbf {A} ^{\top }\right).$

Таким преобразованием и сдвигом любое невырожденное нормальное распределение можно привести к вектору независимых стандартных нормальных величин.

Моменты многомерного нормального распределения

Пусть $X$ — центрированные (с нулевым математическим ожиданием) случайные величины имеющие многомерное нормальное распределение, тогда моменты $\mu _{i_{1}i_{2}i_{3}...i_{k}}=E(X_{i_{1}}X_{i_{2}}X_{i_{3}}...X_{i_{k}})$ для нечетных $k$ равно нулю, а для четных $k=2m$ вычисляется по формуле

$\sum \sigma _{i_{t_{1}}i_{t_{2}}}\sigma _{i_{t_{3}}i_{t_{4}}}\sigma _{i_{t_{4}}i_{t_{5}}}...\sigma _{i_{t_{k-1}}i_{t_{k}}}$

где суммирование осуществляется по всевозможным разбиениям индексов на пары. Количество множителей в каждом слагаемом равно $m$, количество слагаемых равно ${\frac {(2m)!}{2^{m}m!}}={\frac {(2m-1)!}{2^{m-1}(m-1)!}}$

Например, для моментов четвертого порядка в каждом слагаемом по два множителя и общее количество слагаемых будет равно $4!/(2^{2}\cdot 2!)=(1\cdot 2\cdot 3\cdot 4)/(4\cdot 2\cdot 1)=3$. Соответствующая общая формула для моментов четвертого порядка имеет вид:

$\mu _{ijkm}=E(X_{i}X_{j}X_{k}X_{m})=\sigma _{ij}\sigma _{km}+\sigma _{ik}\sigma _{jm}+\sigma _{im}\sigma _{kj}$

В частности если $i=j=k=m$

$\mu _{iiii}=E(X_{i}^{4})=3{\sigma }_{ii}^{2}=3{\sigma }_{i}^{4}$

При $i=j\not =k=m$

$\mu _{iijj}=E(X_{i}^{2}X_{j}^{2})={\sigma }_{ii}{\sigma }_{jj}+2{\sigma }_{ij}={\sigma }_{i}^{2}{\sigma }_{j}^{2}+2{\sigma }_{ij}$

При $i=j=k\not =m$

$\mu _{iiij}=E(X_{i}^{3}X_{j})={\sigma }_{ii}{\sigma }_{ij}+{\sigma }_{ii}{\sigma }_{ij}+{\sigma }_{ij}{\sigma }_{ii}=3{\sigma }_{ij}{\sigma }_{ii}=3{\sigma }_{i}^{2}{\sigma }_{ij}$

Условное распределение

Пусть случайные векторы $X$ и $Y$ имеют совместное нормальное распределение с математическими ожиданиями $\mu _{X},\mu _{Y}$, ковариационными матрицами $V_{X},V_{Y}$ и матрицей ковариаций $C_{XY}$. Это означает, что объединенный случайный вектор ${\boldsymbol {Z}}={\begin{bmatrix}{\boldsymbol {X}}\\{\boldsymbol {Y}}\end{bmatrix}}$ подчиняется многомерному нормальному распределению с вектором математического ожидания ${\boldsymbol {\mu }}_{Z}={\begin{bmatrix}{\boldsymbol {\mu }}_{X}\\{\boldsymbol {\mu }}_{Y}\end{bmatrix}}$ и ковариационной матрицей, которую можно представить в виде следующей блочной матрицы

${\boldsymbol {V}}_{Z}={\begin{bmatrix}{\boldsymbol {V}}_{X}&{\boldsymbol {C}}_{XY}\\{\boldsymbol {C}}_{YX}&{\boldsymbol {V}}_{Y}\end{bmatrix}}$,

где $C_{YX}=C_{XY}^{T}$.

Тогда случайный вектор $Y$ при заданном значении случайного вектора $X$ имеет (многомерное) нормальное условное распределение со следующим условным математическим ожиданием и условной ковариационной матрицей

$E(Y|X=x)=\mu _{Y}+C_{YX}V_{X}^{-1}(x-\mu _{X}),\qquad V(Y|X=x)=V_{Y}-C_{YX}V_{X}^{-1}C_{XY}$.

Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора $Y$ от заданного значения x случайного вектора $X$), причем матрица $C_{XY}V^{-1}$ — матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора $Y$ на вектор $X$. В случае если $Y$ — обычная случайная величина (однокомпонентный вектор), условная ковариационная матрица — это условная дисперсия (по существу дисперсия случайной ошибки регрессии $Y$ на вектор $X$)

Литература

• М. де Гроот Оптимальные статистические решения = Optimal Statistical Decisions. — М.: Мир, 1974. — 492 с.