Многомерная случайная величина

Многомерная случайная величина или случайный вектор (математика, вероятность и статистика)  - это список математических переменных, значение каждой из которых неизвестно, либо потому что значение еще не произошло, или из-за несовершенного знания о её значении. Индивидуальные переменные в случайном векторе сгруппированы вместе, потому что они являются частью единой математической системы — часто они представляют различные свойства отдельных статистических единиц. Например, пусть какое-то конкретное лицо имеет определенный возраст, рост и вес. Совокупность же этих особенностей у случайного человека из группы будет случайным вектором. Обычно каждый элемент случайного вектора - это действительное число.

Случайные вектора часто используют в качестве базовой реализации различных видов совокупности случайных величин, например, случайные матрицы, случайное дерево, случайная последовательность, случайных процессов т. д.

Более формально, многомерной случайной величиной является столбец вектора ${\displaystyle \mathbf {X} =(X_{1},...,X_{n})^{T}}$ (или ее транспонированная матрица, которая представляет собой вектор-строку), компонентами которого являются скалярные значения случайных величин одном и том же вероятностном пространстве ${\displaystyle (\Omega ,{\mathcal {F}},P)}$, где ${\displaystyle \Omega }$ это пространство элементарных событий, ${\displaystyle {\mathcal {F}}}$ это сигма-алгебра (совокупность всех событий), и ${\displaystyle P}$ есть вероятность измерения (функция, возвращающая вероятность каждого события ).

Каждый случайный вектор порождает вероятностную меру на ${\displaystyle \mathbb {R} ^{n}}$ с борелевской алгеброй, лежащей в основе сигма-алгебры. Эта мера также известна как совместное распределение вероятностей, совместное распределение или многомерное распределение случайного вектора.

Распределение каждой из компонент случайных величин ${\displaystyle X_{i}}$ называются маргинальными распределениями. Условное распределение вероятностей  ${\displaystyle X_{i}}$ учитывая ${\displaystyle X_{j}}$ является вероятностным распределением ${\displaystyle X_{i}}$ когда ${\displaystyle X_{j}}$ известно как конкретное значение.

Случайные вектора могут быть подвергнуты тем же алгебраическим операциям как и в случае с неслучайными векторами: сложение, вычитание, умножение на скаляр, и скалярное произведение.

Аналогично, новый случайный вектор ${\displaystyle \mathbf {Y} }$ можно определить, применяя аффинное преобразование ${\displaystyle g\colon \mathbb {R} ^{n}\to \mathbb {R} ^{n}}$ для случайного вектора ${\displaystyle \mathbf {X} }$:

${\displaystyle \mathbf {Y} ={\mathcal {A}}\mathbf {X} +b}$, где ${\displaystyle {\mathcal {A}}}$ это матрица ${\displaystyle n\times n}$  и ${\displaystyle b}$ это вектор состоящий из колонки ${\displaystyle n\times 1}$

Если ${\displaystyle {\mathcal {A}}}$ обратима и вероятностная плотность  ${\displaystyle \textstyle \mathbf {X} }$ равна ${\displaystyle f_{\mathbf {X} }}$,тогда вероятностная плотность  ${\displaystyle \mathbf {Y} }$

${\displaystyle f_{\mathbf {Y} }(y)={\frac {f_{\mathbf {X} }({\mathcal {A}}^{-1}(y-b))}{|\det {\mathcal {A}}|}}}$.

Математическое ожидание или среднее значение случайного вектора ${\displaystyle \mathbf {X} }$  фиксированный вектор ${\displaystyle \operatorname {E} [\mathbf {X} ]}$, элементы которого являются ожидаемыми значениями соответствующих случайных величин.

Ковариационная матрица (Также называется дисперсионно-ковариационной матрицей) это случайный вектор ${\displaystyle n\times 1}$ матрицей которого является матрица размером ${\displaystyle n\times n}$ в которой (i,j)^ый элемент это ковариация между  i ^ой и  j ^ой случайной величиной. Ковариационная матрица - это математическое ожидание, элемент за элементом, матрицы размером ${\displaystyle n\times n}$ полученной умножением матриц ${\displaystyle [\mathbf {X} -\operatorname {E} [\mathbf {X} ]][\mathbf {X} -\operatorname {E} [\mathbf {X} ]]^{T}}$, где верхний индекс T относится к транспонированию указанного вектора:

${\displaystyle \operatorname {Var} [\mathbf {X} ]=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{T}].}$

В дополнение к этому, ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$ (${\displaystyle \mathbf {X} }$ имеет ${\displaystyle n}$ элементов и ${\displaystyle \mathbf {Y} }$ имеет ${\displaystyle p}$ элементов ) является матрицей ${\displaystyle n\times p}$

${\displaystyle \operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{T}],}$

Где опять указанное матричное ожидание принимается поэтапно в матрице. В ней (i,j)^ый элемент это ковариация между i ^ым элементом матрицы ${\displaystyle \mathbf {X} }$ и j ^ым элементом матрицы ${\displaystyle \mathbf {Y} .}$ Матрица кроссковариации ${\displaystyle \operatorname {Cov} [\mathbf {Y} ,\mathbf {X} ]}$ легко получается транспонированием полученной ${\displaystyle \operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]}$.

Возьмем математическое ожидание квадратичной формы в случайном векторе X следующим образом:^{:стр.170–171}

${\displaystyle \operatorname {E} (X^{T}AX)=[\operatorname {E} (X)]^{T}A[\operatorname {E} (X)]+\operatorname {tr} (AC),}$

Где C - ковариационная матрица X, а tr - это след матрицы, то есть сумма элементов на его главной диагонали (от верхнего левого к правому нижнему). Так как квадратичная форма является скаляром, то это и ее математическое ожидание.

Доказательство: Пусть ${\displaystyle \mathbf {z} }$ - случайный вектор размера ${\displaystyle m\times 1}$ с ${\displaystyle \operatorname {E} [\mathbf {z} ]=\mu }$ и ${\displaystyle \operatorname {Cov} [\mathbf {z} ]=V}$ и пусть ${\displaystyle A}$ - нестохастическая матрица размера  ${\displaystyle m\times m}$

Тогда, основываясь на базовой формуле ковариации , если мы обозначим ${\displaystyle \mathbf {z} '=\mathbf {X} }$ и ${\displaystyle \mathbf {z} 'A'=\mathbf {Y} }$ ( где в дальнейшем основной знак ${\displaystyle '}$ обозначает транспонирование), мы видим:

${\displaystyle \operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]=\operatorname {E} [\mathbf {X} \mathbf {Y} ']-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]'}$

Следовательно,

${\displaystyle {\begin{aligned}E(XY')&=\operatorname {Cov} (X,Y)+E(X)E(Y)'\\E(z'Az)&=\operatorname {Cov} (z',z'A')+E(z')E(z'A')'\\&=\operatorname {Cov} (z',z'A')+\mu '(\mu 'A')'\\&=\operatorname {Cov} (z',z'A')+\mu 'A\mu ,\end{aligned}}}$

что приводит нас к

${\displaystyle \operatorname {Cov} (z',z'A')=\operatorname {tr} (AV).}$

Это верно в связи с тем, что при трассировке без изменения конечного результата можно циклически переставлять матрицы (например, tr (AB) = tr (BA)).

Мы видим, что ковариация

${\displaystyle {\begin{aligned}\operatorname {Cov} (z',z'A')&=E\left[\left(z'-E(z')\right)\left(z'A'-E\left(z'A'\right)\right)'\right]\\&=E\left[(z'-\mu ')(z'A'-\mu 'A')'\right]\\&=E\left[(z-\mu )'(Az-A\mu )\right].\end{aligned}}}$

и затем

${\displaystyle \left({z-\mu }\right)'\left({Az-A\mu }\right)}$

является скаляром, тогда

${\displaystyle (z-\mu )'(Az-A\mu )=\operatorname {tr} \left[{(z-\mu )'(Az-A\mu )}\right]=\operatorname {tr} \left[(z-\mu )'A(z-\mu )\right]}$

тривиально. Используя перестановку, получим:

${\displaystyle \operatorname {tr} \left[{(z-\mu )'A(z-\mu )}\right]=\operatorname {tr} \left[{A(z-\mu )(z-\mu )'}\right],}$

И, включив это в исходную формулу, получим:

${\displaystyle {\begin{aligned}\operatorname {Cov} \left({z',z'A'}\right)&=E\left[{\left({z-\mu }\right)'(Az-A\mu )}\right]\\&=E\left[\operatorname {tr} \left[A(z-\mu )(z-\mu )'\right]\right]\\&=\operatorname {tr} \left[{A\cdot E\left[(z-\mu )(z-\mu )'\right]}\right]\\&=\operatorname {tr} [AV].\end{aligned}}}$

Возьмем математическое ожидание произведения двух разных квадратичных форм в гауссовском случайном векторе X с нулевым средним следующим образом:^{:стр. 162–176}

${\displaystyle \operatorname {E} [X^{T}AX][X^{T}BX]=2\operatorname {tr} (ACBC)+\operatorname {tr} (AC)\operatorname {tr} (BC)}$

Где снова C является ковариационной матрицей X. Опять же, поскольку обе квадратичные формы являются скалярами и, следовательно, их произведение является скаляром, математическое ожидание их произведения также является скаляром.

Эволюцию k × 1 случайного вектора ${\displaystyle \mathbf {X} }$ во времени можно смоделировать как векторную авторегрессию (VAR) следующим образом: