Условное математическое ожидание

Эту страницу предлагается объединить со страницей Регрессия (математика). Пояснение причин и обсуждение — на странице Википедия:К объединению/11 апреля 2021#Регрессия (математика) → Регрессионный анализ или Условное математическое ожидание. Обсуждение длится не менее недели (подробнее). Не удаляйте шаблон до подведения итога обсуждения.

В статье не хватает ссылок на источники (см. рекомендации по поиску). Информация должна быть проверяема, иначе она может быть удалена. Вы можете отредактировать статью, добавив ссылки на авторитетные источники в виде сносок. (2 октября 2011)

Условное математическое ожидание в теории вероятностей — это среднее значение случайной величины при выполнении некоторого условия (реализации каких-то событий). Часто в качестве условия выступает фиксированное на некотором уровне значение другой случайной величины, которая может быть связана с данной (если эти случайные величины независимы, то условное математическое ожидание совпадает с (безусловным) математическим ожиданием). В этом случае условное математическое ожидание случайной величины ${\displaystyle Y}$ при условии, что случайная величина ${\displaystyle X}$ приняла значение ${\displaystyle x}$ обозначается как ${\displaystyle E(Y|X=x)}$, соответственно, ее можно рассматривать как функцию от ${\displaystyle x}$. Эта функция называется функцией регрессии случайной величины ${\displaystyle Y}$ на случайную величину ${\displaystyle X}$ и поэтому условное математическое ожидание обозначают как ${\displaystyle E(Y|X)}$, то есть без указания фиксированного значения ${\displaystyle x}$.

Условное математическое ожидание - это характеристика условного распределения.

Будем считать, что дано вероятностное пространство ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$. Пусть ${\displaystyle X:\Omega \to \mathbb {R} }$ — интегрируемая случайная величина, то есть ${\displaystyle \mathbb {E} \vert X\vert <\infty }$. Пусть также ${\displaystyle {\mathcal {G}}\subset {\mathcal {F}}}$ — σ-подалгебра σ-алгебры ${\displaystyle {\mathcal {F}}}$.

Случайная величина ${\displaystyle {\hat {X}}}$ называется условным математическим ожиданием ${\displaystyle X}$ относительно σ-алгебры ${\displaystyle {\mathcal {G}}}$, если

• ${\displaystyle {\hat {X}}}$ измерима относительно ${\displaystyle {\mathcal {G}}}$.
• ${\displaystyle \forall A\in {\mathcal {G}},\quad \mathbb {E} \left[{\hat {X}}\mathbf {1} _{A}\right]=\mathbb {E} [X\mathbf {1} _{A}]}$,

где ${\displaystyle \mathbf {1} _{A}}$ — индикатор события ${\displaystyle A}$ (иными словами, это характеристическая функция множества-события, аргументом которой является случайная величина или элементарный исход). Условное математическое ожидание обозначается ${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]}$.

Пример. Пусть ${\displaystyle \Omega =\{1,2,3,4\},\,{\mathcal {F}}=2^{\Omega },\,\mathbb {P} (\omega )=1/4,\,\omega =1,\ldots ,4.}$ Положим ${\displaystyle {\mathcal {G}}=\{\varnothing ,\{1,2\},\{3,4\},\Omega \}}$. Тогда ${\displaystyle {\mathcal {G}}}$ — σ-алгебра, и ${\displaystyle {\mathcal {G}}\subset {\mathcal {F}}}$. Пусть случайная величина ${\displaystyle X}$ имеет вид

${\displaystyle X(\omega )=\omega ^{2},\;\omega =1,\ldots ,4}$.

Тогда

${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}](\omega )=\left\{{\begin{matrix}{\frac {5}{2}},&\omega =1,2\\[5pt]{\frac {25}{2}},&\omega =3,4.\end{matrix}}\right.}$

Пусть ${\displaystyle {\mathcal {C}}=\{C_{\alpha }\}\subset {\mathcal {F}}}$ — произвольное семейство событий. Тогда условным математическим ожиданием ${\displaystyle X}$ относительно ${\displaystyle {\mathcal {C}}}$ называется

${\displaystyle \mathbb {E} [X\mid {\mathcal {C}}]\equiv \mathbb {E} [X\mid \sigma ({\mathcal {C}})]}$,

где ${\displaystyle \sigma ({\mathcal {C}})}$ — минимальная сигма-алгебра, содержащая ${\displaystyle {\mathcal {C}}}$.

Пример. Пусть ${\displaystyle \Omega =\{1,2,3,4\},\,{\mathcal {F}}=2^{\Omega },\,\mathbb {P} (\omega )=1/4,\,\omega =1,\ldots ,4.}$ Пусть также ${\displaystyle C=\{1,2,3\}}$. Тогда ${\displaystyle \sigma (C)=\{\varnothing ,\{1,2,3\},\{4\},\Omega \}\subset {\mathcal {F}}}$. Пусть случайная величина ${\displaystyle X}$ имеет вид

${\displaystyle X(\omega )=\omega ^{2},\;\omega =1,\ldots ,4}$.

Тогда

${\displaystyle \mathbb {E} [X\mid {\mathcal {C}}](\omega )=\left\{{\begin{matrix}{\frac {14}{3}},&\omega =1,2,3\\[5pt]16,&\omega =4.\end{matrix}}\right.}$

Пусть ${\displaystyle Y:\Omega \to \mathbb {R} }$ другая случайная величина. Тогда условным математическим ожиданием ${\displaystyle X}$ относительно ${\displaystyle Y}$ называется

${\displaystyle \mathbb {E} [X\mid Y]\equiv \mathbb {E} [X\mid \sigma (Y)]}$,

где ${\displaystyle \sigma (Y)}$ — σ-алгебра, порождённая случайной величиной ${\displaystyle Y}$.

Другое определение УМО ${\displaystyle X}$ относительно ${\displaystyle Y}$ :

${\displaystyle \mathbb {E} (X\mid Y)=\mathbb {E} (X\mid Y=y)\mid _{y=Y}}$

Такое определение конструктивно описывает алгоритм нахождения УМО:

• найти математическое ожидание случайной величины ${\displaystyle X}$, принимая ${\displaystyle Y}$ за константу ${\displaystyle y}$;
• Затем в полученном выражении ${\displaystyle y}$ обратно заменить на случайную величину ${\displaystyle Y}$.

Пример: ${\displaystyle X\equiv N(a,\sigma ^{2})}$

${\displaystyle \mathbb {E} \left[{\frac {X}{Y}}\mid Y\right]=\mathbb {E} \left[{\frac {X}{y}}\right]\mid _{y=Y}={\frac {1}{y}}\mathbb {E} [X]\mid _{y=Y}={\frac {a}{y}}\mid _{y=Y}={\frac {a}{Y}}}$

Пусть ${\displaystyle B\in {\mathcal {F}}}$ — произвольное событие, и ${\displaystyle \mathbf {1} _{B}}$ — его индикатор. Тогда условной вероятностью ${\displaystyle B}$ относительно ${\displaystyle {\mathcal {G}}}$ называется

${\displaystyle \mathbb {P} (B\mid {\mathcal {G}})\equiv \mathbb {E} [\mathbf {1} _{B}\mid {\mathcal {G}}]}$.

• Условное математическое ожидание — это случайная величина, а не число.
• Условное математическое ожидание определено с точностью до событий вероятности нуль. Таким образом, если ${\displaystyle {\hat {X}}_{1}=\mathbb {E} [X\mid {\mathcal {G}}]}$ и ${\displaystyle {\hat {X}}_{1}={\hat {X}}_{2}}$ ${\displaystyle \mathbb {P} }$-почти всюду, то ${\displaystyle {\hat {X}}_{2}=\mathbb {E} [X\mid {\mathcal {G}}]}$. Отождествив случайные величины, различающиеся лишь на событиях вероятности нуль, получаем единственность условного математического ожидания.
• Взяв ${\displaystyle A=\Omega }$, получаем по определению:

${\displaystyle \mathbb {E} [X]=\mathbb {E} [\mathbb {E} [X\mid {\mathcal {G}}]]}$,

и в частности справедлива формула полной вероятности:

${\displaystyle \mathbb {P} (B)=\mathbb {E} [\mathbb {P} (B\mid {\mathcal {G}})]}$.

• Пусть σ-алгебра ${\displaystyle {\mathcal {G}}=\sigma (C_{1},\ldots ,C_{n})}$ порождена разбиением ${\displaystyle \{C_{i}\}_{i=1}^{\infty }}$. Тогда

${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]=\sum _{i=1}^{\infty }\mathbb {E} [X\mid C_{i}]\mathbf {1} _{C_{i}}}$.

В частности формула полной вероятности принимает классический вид:

${\displaystyle \mathbb {P} (A\mid {\mathcal {G}})=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\mathbf {1} _{C_{i}}}$,

а следовательно

${\displaystyle \mathbb {E} [\mathbb {P} (A\mid {\mathcal {G}})]=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\mathbb {E} [\mathbf {1} _{C_{i}}]=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\,\mathbb {P} (C_{i})=\mathbb {P} (A)}$.

• Если ${\displaystyle {\hat {X}}=\mathbb {E} [X\mid Y]}$, то существует борелевская функция ${\displaystyle h:\mathbb {R} \to \mathbb {R} }$, такая что

${\displaystyle {\hat {X}}=h(Y)}$.

Условное математическое ожидание ${\displaystyle X}$ относительно события ${\displaystyle \{Y=y\}}$ по определению равно

${\displaystyle \mathbb {E} [X\mid Y=y]\equiv h(y)}$.

• Если ${\displaystyle X\geq 0}$ п.н., то ${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]\geq 0}$ п.н.
• Если ${\displaystyle X}$ независима от ${\displaystyle {\mathcal {G}}}$, то

${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]=\mathbb {E} [X]}$ п.н.

В частности, если ${\displaystyle X,Y}$ независимые случайные величины, то

${\displaystyle \mathbb {E} [X\mid Y]=\mathbb {E} [X]}$ п.н.

• Если ${\displaystyle {\mathcal {G}}_{1},{\mathcal {G}}_{2}}$ — две σ-алгебры, такие что ${\displaystyle {\mathcal {G}}_{1}\subset {\mathcal {G}}_{2}\subset {\mathcal {F}}}$, то

${\displaystyle \mathbb {E} [\mathbb {E} [X\mid {\mathcal {G}}_{2}]\mid {\mathcal {G}}_{1}]=\mathbb {E} [X\mid {\mathcal {G}}_{1}]}$.

• Если ${\displaystyle X}$ — ${\displaystyle {\mathcal {G}}}$-измерима, и ${\displaystyle Y}$ — случайная величина, такая что ${\displaystyle Y,XY\in L^{1}}$, то

${\displaystyle \mathbb {E} [XY\mid {\mathcal {G}}]=X\,\mathbb {E} [Y\mid {\mathcal {G}}]}$.

• «Математическое ожидание убирает условие». Это правило верно для УМО относительно случайной величины (УМО в таком случае будет случайной величиной) и для условной вероятности относительно случайной величины

${\displaystyle \mathbb {E} [\mathbb {E} (X\mid Y)]=\mathbb {E} (X)}$.

• Теорема Леви о монотонной сходимости;
• Теорема Лебега о мажорируемой сходимости;
• Лемма Фату;
• Неравенство Йенсена.

Пусть ${\displaystyle Y}$ — дискретная случайная величина, чьё распределение задаётся функцией вероятности ${\displaystyle \mathbb {P} (Y=y_{j})\equiv p_{Y}(y_{j})=p_{j}>0,\;j=1,2,\ldots }$. Тогда система событий ${\displaystyle \{Y=y_{j}\}}$ является разбиением ${\displaystyle \Omega }$, и

${\displaystyle \mathbb {E} [X\mid Y]=\sum \limits _{j=1}^{\infty }\mathbb {E} [X\mid Y=y_{j}]\mathbf {1} _{\{Y=y_{j}\}}}$,

а

${\displaystyle \mathbb {E} [X\mid Y=y_{j}]=\mathbb {E} _{j}[X]}$,

где ${\displaystyle \mathbb {E} _{j}}$ означает математическое ожидание, взятое относительно условной вероятности ${\displaystyle \mathbb {P} _{j}(\cdot )=\mathbb {P} (\cdot \mid Y=y_{j})}$.

Если случайная величина ${\displaystyle X}$ также дискретна, то

${\displaystyle \mathbb {E} [X\mid Y=y_{j}]=\sum \limits _{i=1}^{\infty }x_{i}\,\mathbb {P} (X=x_{i}\mid Y=y_{j})=\sum \limits _{i=1}^{\infty }x_{i}\,p_{X\mid Y}(x_{i}\mid y_{j})}$,

где ${\displaystyle p_{X\mid Y}}$ — условная функция вероятности случайной величины ${\displaystyle X}$ относительно ${\displaystyle Y}$.

Пусть ${\displaystyle X,Y}$ — случайные величины, такие что вектор ${\displaystyle (X,Y)^{\top }}$ абсолютно непрерывен, и его распределение задаётся плотностью вероятности ${\displaystyle f_{X,Y}(x,y)}$. Введём условную плотность ${\displaystyle f_{X\mid Y}}$, положив по определению

${\displaystyle f_{X\mid Y}(x\mid y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}}$,

где ${\displaystyle f_{Y}}$ — плотность вероятности случайной величины ${\displaystyle Y}$. Тогда

${\displaystyle \mathbb {E} [X\mid Y]=h(Y)}$,

где функция ${\displaystyle h}$ имеет вид

${\displaystyle h(y)=\int \limits _{-\infty }^{\infty }x\,f_{X\mid Y}(x\mid y)\,dx}$.

В частности,

${\displaystyle \mathbb {E} [X\mid Y=y_{j}]=\int \limits _{-\infty }^{\infty }x\,f_{X\mid Y}(x\mid y_{j})\,dx}$.

Рассмотрим пространство случайных величин с конечным вторым моментом ${\displaystyle L^{2}}$. В нём определены скалярное произведение

${\displaystyle \langle X,Y\rangle \equiv \mathbb {E} [XY],\;\forall X,Y\in L^{2}}$,

и порождённая им норма

${\displaystyle \|X\|={\sqrt {\mathbb {E} \left[X^{2}\right]}},\;\forall X\in L^{2}}$.

Множество всех случайных величин ${\displaystyle L_{\mathcal {G}}^{2}}$ с конечным вторым моментом и измеримых относительно ${\displaystyle {\mathcal {G}}}$, где ${\displaystyle {\mathcal {G}}\subset {\mathcal {F}}}$, является подпространством ${\displaystyle L^{2}}$. Тогда оператор ${\displaystyle \Pi _{L_{\mathcal {G}}^{2}}:L^{2}\to L^{2}}$, задаваемый равенством

${\displaystyle \Pi _{L_{\mathcal {G}}^{2}}(X)=\mathbb {E} [X\mid {\mathcal {G}}]}$,

является оператором ортогонального проектирования на ${\displaystyle L_{\mathcal {G}}^{2}}$. В частности:

• Условное математическое ожидание ${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]}$ — это наилучшее средне-квадратичное приближение ${\displaystyle X}$ ${\displaystyle {\mathcal {G}}}$-измеримыми случайными величинами:

${\displaystyle \|X-\mathbb {E} [X\mid {\mathcal {G}}]\|=\inf \limits _{Z\in L_{\mathcal {G}}^{2}}\|X-Z\|}$.

• Условное математическое ожидание сохраняет скалярное произведение:

${\displaystyle \langle X,Z\rangle =\langle \mathbb {E} [X\mid {\mathcal {G}}],Z\rangle ,\;\forall Z\in L_{\mathcal {G}}^{2}}$.

• Условное математическое ожидание идемпотентно:

${\displaystyle \Pi _{L_{\mathcal {G}}^{2}}^{2}=\Pi _{L_{\mathcal {G}}^{2}}}$.

• Условное распределение