Плотность вероятности

Пло́тность вероя́тности — один из способов задания распределения случайной величины. Во многих практических приложениях понятия «плотность вероятности» и «плотность (распределения) случайной величины» или «функция распределения вероятностей» фактически синонимизируются и под ними подразумевается вещественная функция, характеризующая сравнительную вероятность реализации тех или иных значений случайной переменной (переменных).

Прикладное описание понятия

Плотность распределения одномерной непрерывной случайной величины $\xi$ — это числовая функция $f(x)$, отношение $f(x_{1})/f(x_{2})$ значений которой в точках $x_{1}$ и $x_{2}$ задаёт отношение вероятностей попаданий величины $\xi$ в узкие интервалы равной ширины $[x_{1},x_{1}+\Delta x]$ и $[x_{2},x_{2}+\Delta x]$ вблизи данных точек.

Плотность распределения неотрицательна при любом $x$ и нормирована, то есть

$\int _{-\infty }^{+\infty }f(x)\,{\mbox{d}}x=1$

При стремлении $x$ к $\,\pm \infty$ функция $f(x)$ стремится к нулю. Размерность плотности распределения всегда обратная к размерности случайной величины — если $\xi$ исчисляется в метрах, то размерностью $f$ будет м^-1.

Вероятность $P$ попадания случайной величины в интервал между $a$ и $b$ равна площади $S$ под графиком функции плотности вероятности $f(x)$.

Если в конкретной ситуации известно выражение для $f(x)$, с его помощью можно вычислить вероятность попадания величины $\xi$ в интервал $[a,b]$ как

$P(\xi \in [a,b])=\int _{a}^{b}f(x)\,{\mbox{d}}x$.

Зная плотность вероятности, можно также определить наиболее вероятное значение (моду) случайной величины как максимум $f(x)$. Также с помощью плотности вероятности находится среднее значение случайной величины:

$E\xi =\int _{-\infty }^{+\infty }xf(x)\,{\mbox{d}}x$

и среднее значение измеримой функции $g(\xi )$ случайной величины:

$\langle g(\xi )\rangle =\int _{-\infty }^{+\infty }g(x)f(x)\,{\mbox{d}}x$.

Чтобы перейти к плотности распределения ${f}_{\chi }(y)$ другой случайной величины $\chi =z(\xi )$, нужно взять

${f}_{\chi }(y)=f(z^{-1}(y))\cdot \left|{\frac {{\mbox{d}}z^{-1}(y)}{{\mbox{d}}y}}\right|$,

где $z^{-1}(y)$ — обратная функция по отношению к $y=z(x)$ (предполагается, что z — взаимно однозначное отображение).

Значение плотности распределения $f(x_{1})$ не является вероятностью принять случайной величиной значение $x_{1}$. Так, вероятность принятия непрерывной случайной величиной $\xi$ значения $x_{1}$ равна нулю. При непрерывном распределении случайной величины $\xi$ вопрос может ставиться о вероятности её попадания в некий диапазон, а не о вероятности реализации её конкретного значения.

Интеграл

$\int _{-\infty }^{x}f(t)\,{\mbox{d}}t=F(x)$

называют функцией распределения (соответственно, плотность распределения вероятности — это производная функции распределения). Функция $F$ является неубывающей и изменяется от 0 при $x\to -\infty$ до 1 при $x\to +\infty$.

Функции плотности вероятности для равномерного распределения

Самым простым распределением является равномерное распределение на отрезке $[a,b]$. Для него плотность вероятности равна:

$f(x)=\left\{{\begin{matrix}{1 \over b-a},&x\in [a,b]\\0,&x\not \in [a,b]\end{matrix}}\right..$

Функции плотности вероятности для нормального распределения

Широко известным распределением является «нормальное», оно же гауссово, плотность которого записывается как

$f(x)={\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left[-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right]$,

где $\mu$ и $\sigma$ — параметры: математическое ожидание и среднеквадратичное отклонение. Другие примеры плотностей распределения — одностороннее лапласовское ($\lambda >0$):

$f(x)=A\exp \left[-\lambda \,x\right]\,\,(x\geq 0)$ и $f(x)=0\,\,(x<0)$,

и максвелловское ($\alpha >0$):

$f(x)=Ax^{2}\exp \left[-\alpha x^{2}\right]\,\,(x\geq 0)$ и $f(x)=0\,\,(x<0)$.

В двух последних примерах множитель $A$ подбирается в зависимости от параметра $\lambda$ или $\alpha$ так, чтобы обеспечить нормировку интеграла от плотности вероятности. В случае распределения Лапласа оказывается, что $A=\lambda$.

Как названные, так и другие распределения широко применяются в физике. Например, в случае распределения Максвелла роль случайной величины обычно играет абсолютная величина скорости молекулы в идеальном газе. При этом для аргумента функции $f$ нередко используют тот же символ, что и для рассматриваемой в физической задаче случайной величины (как если бы выше на месте $\xi$ всюду стояло $x$). Так, в выражении максвелловской плотности распределения пишут не формальную переменную $x$, а символ скорости $v$. В простейших ситуациях такая вольность с обозначениями не приводит к недоразумениям.

Спадающий при стремлении аргумента к $+\infty$ или $-\infty$ участок графика плотности вероятности $f(x)$ в областях, где $f\ll f_{max}$, называется хвостом. Из упомянутых распределений, нормальное и лапласовское имеют по два хвоста (слева и справа), а максвелловское в выписанном виде — один (справа).

Выше была изложена суть понятия «плотность вероятности». Однако, такое изложение не является строгим — плотность $f$ нередко является функцией нескольких величин, в рассуждениях неявно предполагались не всегда гарантируемые непрерывность и дифференцируемость функций и так далее.

Определение плотности вероятности в теории меры

Плотность вероятности можно рассматривать как один из способов задания вероятностной меры на евклидовом пространстве $\mathbb {R} ^{n}$. Пусть $\mathbb {P}$ является вероятностной мерой на $\mathbb {R} ^{n}$, то есть определено вероятностное пространство $\left(\mathbb {R} ^{n},{\mathcal {B}}(\mathbb {R} ^{n}),\mathbb {P} \right)$, где ${\mathcal {B}}(\mathbb {R} ^{n})$ обозначает борелевскую σ-алгебру на $\mathbb {R} ^{n}$. Пусть $m$ обозначает меру Лебега на $\mathbb {R} ^{n}$. Вероятность $\mathbb {P}$ называется абсолютно непрерывной (относительно меры Лебега) ($\mathbb {P} \ll m$), если любое борелевское множество нулевой меры Лебега также имеет вероятность ноль:

$\forall B\in {\mathcal {B}}(\mathbb {R} ^{n}),\;(m(B)=0)\Rightarrow (\mathbb {P} (B)=0).$

Если вероятность $\mathbb {P}$ абсолютно непрерывна, то согласно теореме Радона-Никодима существует неотрицательная борелевская функция $f\colon \mathbb {R} ^{n}\to [0,\infty )$ такая, что

$\mathbb {P} (B)=\int \limits _{B}f(x)\,dx$,

где использовано общепринятое сокращение $m(dx)\equiv dx$, и интеграл понимается в смысле Лебега.

В более общем виде, пусть $(X,{\mathcal {F}})$ — произвольное измеримое пространство, а $\mu$ и $\nu$ — две меры на этом пространстве. Если найдется неотрицательная $f$, позволяющая выразить меру $\nu$ через меру $\mu$ в виде

$\nu (A)=\int _{A}fd\mu ,$

то такую функцию называют плотностью меры $\nu$ по мере $\mu$, или производной Радона-Никодима меры $\nu$ относительно меры $\mu$, и обозначают

$f={\frac {d\nu }{d\mu }}$.

Плотность случайной величины

Пусть определено произвольное вероятностное пространство $(\Omega ,{\mathcal {F}},\mathbb {P} )$, и $X\colon \Omega \to \mathbb {R} ^{n}$ случайная величина (или случайный вектор). $X$ индуцирует вероятностную меру $\mathbb {P} ^{X}$ на $\left(\mathbb {R} ^{n},{\mathcal {B}}(\mathbb {R} ^{n})\right)$, называемую распределением случайной величины $X$.

Если распределение $\mathbb {P} ^{X}$ абсолютно непрерывно относительно меры Лебега, то его плотность $f_{X}={\frac {d\mathbb {P} ^{X}}{dx}}$ называется плотностью случайной величины $X$. Сама случайная величина $X$ называется абсолютно непрерывной.

Таким образом для абсолютно непрерывной случайной величины имеем:

$\mathbb {P} (X\in B)=\int \limits _{B}f_{X}(x)\,dx$.

Замечания

• Не всякая случайная величина абсолютно непрерывна. Любое дискретное распределение, например, не является абсолютно непрерывным относительно меры Лебега, а потому дискретные случайные величины не имеют плотности.

• Функция распределения абсолютно непрерывной случайной величины $X$ непрерывна и может быть выражена через плотность следующим образом:

$F_{X}(x_{1},\ldots ,x_{n})=\mathbb {P} \left(X\in \prod \limits _{i=1}^{n}(-\infty ,x_{i}]\right)=\int \limits _{-\infty }^{x_{n}}\!\!\ldots \!\!\int \limits _{-\infty }^{x_{1}}f_{X}(x'_{1},\ldots ,x'_{n})\,dx'_{1}\ldots dx'_{n}$.

В одномерном случае:

$F_{X}(x)=\int \limits _{-\infty }^{x}f_{X}(x')\,dx'$.

Если $f_{X}\in C(\mathbb {R} ^{n})$, то $F_{X}\in {\mathcal {D}}(\mathbb {R} ^{n})$, и

${\frac {\partial ^{n}}{\partial x_{1}\ldots \partial x_{n}}}F_{X}(x_{1},\ldots ,x_{n})=f_{X}(x_{1},\ldots ,x_{n})$.

В одномерном случае:

${\frac {d}{dx}}F_{X}(x)=f_{X}(x)$.

• Математическое ожидание функции от абсолютно непрерывной случайной величины может быть записано в виде:

$\mathbb {E} [g(X)]=\int \limits _{\mathbb {R} ^{n}}g(x)\,\mathbb {P} ^{X}(dx)=\int \limits _{\mathbb {R} ^{n}}g(x)\,f_{X}(x)\,dx$,

где $g\colon \mathbb {R} ^{n}\to \mathbb {R}$ — борелевская функция, так что $\mathbb {E} [g(X)]$ определено и конечно.

Плотность преобразования случайной величины

Пусть $X\colon \Omega \to \mathbb {R} ^{n}$ — абсолютно непрерывная случайная величина, и $g\colon \mathbb {R} ^{n}\to \mathbb {R} ^{n}$ — инъективная непрерывно дифференцируемая функция такая, что $J_{g}(x)\not =0,\;\forall x\in \mathbb {R} ^{n}$, где $J_{g}(x)$ — якобиан функции $g$ в точке $x$. Тогда случайная величина $Y=g(X)$ также абсолютно непрерывна, и её плотность имеет вид:

$f_{Y}(y)=f_{X}\left(g^{-1}(y)\right)\vert J_{g^{-1}}(y)\vert$.

В одномерном случае:

$f_{Y}(y)=f_{X}\left(g^{-1}(y)\right)\left\vert {\frac {dg^{-1}}{dy}}(y)\right\vert$.

Свойства плотности вероятности

• Плотность вероятности определена почти всюду. Если $f$ является плотностью вероятности $\mathbb {P}$ и $f(x)=g(x)$ почти всюду относительно меры Лебега, то и функция $g$ также является плотностью вероятности $\mathbb {P}$./

• Интеграл от плотности по всему пространству равен единице:

$\mathbb {P} \left(\mathbb {R} ^{n}\right)=\int \limits _{\mathbb {R} ^{n}}f(x)\,dx=1$.

Обратно, если $f(x)$ — неотрицательная почти всюду функция, такая что $\int \limits _{\mathbb {R} ^{n}}f(x)\,dx=1$, то существует абсолютно непрерывная вероятностная мера $\mathbb {P}$ на $\mathbb {R} ^{n}$ такая, что $f(x)$ является её плотностью.

• Замена меры в интеграле Лебега:

$\int \limits _{\mathbb {R} ^{n}}\varphi (x)\,\mathbb {P} (dx)=\int \limits _{\mathbb {R} ^{n}}\varphi (x)\,f(x)\,dx$,

где $\varphi ::\mathbb {R} ^{n}\to \mathbb {R}$ любая борелевская функция, интегрируемая относительно вероятностной меры ${}\mathbb {P}$.

Примеры абсолютно непрерывных распределений

• Бета-распределение
• Гамма-распределение
• Гиперэкспоненциальное распределение
• Двумерное нормальное распределение
• Логнормальное распределение
• Многомерное нормальное распределение
• Непрерывное равномерное распределение
• Нормальное распределение
• Обобщённое гиперболическое распределение
• Полукруговой закон Вигнера
• Распределение variance-gamma
• Распределение Вейбулла
• Распределение Гомпертца
• Распределение Колмогорова
• Распределение копулы
• Распределение Коши
• Распределение Лапласа
• Распределение Накагами
• Распределение Парето
• Распределение Пирсона
• Распределение Райса
• Распределение Рэлея
• Распределение Стьюдента
• Распределение Трейси — Видома
• Распределение Фишера
• Распределение хи-квадрат
• Частотное распределение
• Экспоненциальное распределение

См. также

• Распределение вероятностей
• Сингулярное распределение
• Функция вероятности

Литература

• Плотность вероятности // Большая российская энциклопедия : [в 35 т.] / гл. ред. Ю. С. Осипов. — М. : Большая российская энциклопедия, 2004—2017.