Неравенство Гаусса

В теории вероятностей неравенство Гаусса даёт верхнюю границу вероятности того, что одномодальная случайная величина выходит за пределы интервала с центром в её моде.

Пусть X — одномодальная случайная величина с модой m и пусть τ ² есть математическое ожидание (X − m)². (τ² может также быть выражено как (μ − m)² + σ², где μ и σ являются средним значением и стандартным отклонением X.)

$\Pr(|X-m|>k)\leq {\begin{cases}\left({\frac {2\tau }{3k}}\right)^{2},&{\text{if }}k\geq {\frac {2\tau }{\sqrt {3}}};\\[6pt]1-{\frac {k}{\tau {\sqrt {3}}}},&{\text{if }}0\leq k\leq {\frac {2\tau }{\sqrt {3}}}.\end{cases}}$

Эта теорема была впервые доказана Гауссом в 1823 году.

Доказательство

Без ограничения общности можно считать, что мода находится в нуле, то есть $m=0$.

Переход к квантилям

Рассмотрим вероятность того, что выполняется неравенство $\left\vert X\right\vert \leq x$, как функцию от $x$:

$p\left(x\right)=\int \limits _{-x}^{x}f\left(z\right)dz.$

Так как $f\left(x\right)$ является неотрицательной функцией, то $p(x)$растёт с ростом $x$.

Кроме того, по определению определённого интеграла:

$p\left(0\right)=0.$

В силу формулы Лейбница:

${\frac {dp}{dx}}=f\left(x\right)+f\left(-x\right).$

Рассмотрим обратную функцию (квантиль) распределения случайной величины $\left\vert X\right\vert$:

$x=q\left(p\right).$

В силу теоремы о производной обратной функции:

$q^{\prime }\left(p\right)={\frac {dx}{dp}}=\left[{\frac {dp}{dx}}\right]^{-1}={\frac {1}{f\left(x\right)+f\left(-x\right)}}.$

Заметим, что с ростом $p$возрастает и $x$, в силу унимодальности с ростом по модулю $x$функция $f\left(x\right)$не возрастает, значит с ростом $x$функция $q^{\prime }\left(p\right)$не убывает.

Линеаризация функции $q\left(p\right)$

Выберем произвольную точку $q_{0}=q\left(p_{0}\right)$ и линеаризуем $q\left(p\right)$ точке $p_{0}$, то есть рассмотрим уравнение касательной прямой к этой функции в данной точке:

$L\left(p\right)=q\left(p_{0}\right)+q^{\prime }\left(p_{0}\right)\left(p-p_{0}\right)=q_{0}+q^{\prime }\left(p_{0}\right)\left(p-p_{0}\right).$

Данное уравнение можно переписать следующим образом:

$L\left(p\right)=q^{\prime }\left(p_{0}\right)\left(p-p_{1}\right),$

где

$p_{1}=p_{0}-{\frac {q_{0}}{q^{\prime }\left(p_{0}\right)}}=p_{0}\left(1-{\frac {q_{0}}{p_{0}\cdot q^{\prime }\left(p_{0}\right)}}\right)=g\cdot p_{0}.$

Поскольку величины $p_{0}$, $q_{0}$и $q^{\prime }\left(p_{0}\right)$являются неотрицательными, то

$0\leq p_{1}\leq p_{0},$

а значит

$0\leq g\leq 1.$

Так как $q^{\prime }\left(p\right)$ не убывает с ростом $p$, а $L^{\prime }\left(p\right)=q^{\prime }\left(p_{0}\right)=\operatorname {const} ,$то разность $q^{\prime }\left(p\right)-L^{\prime }\left(p\right)$ имеет тот же знак, что $p-p_{0}$. Из этого следует, что величина $q\left(p\right)-L\left(p\right)$ всегда является неотрицательной, а следовательно:

$q\left(p\right)\geq L\left(p\right).$

Поскольку $q\left(p\right)\geq 0$ то из $L\left(p\right)\geq 0$ (то есть из $p\geq p_{1}$) следует

$L^{2}\left(p\right)\leq q^{2}\left(p\right)$.

Получение оценки

Проинтегрируем последнее неравенство в пределах от $p_{1}$до $1$:

$\int _{p_{1}}^{1}L^{2}\left(p\right)dp\leq \int _{p_{1}}^{1}q^{2}\left(p\right)dp\leq \int _{0}^{1}q^{2}\left(p\right)dp=\int _{-\infty }^{+\infty }x^{2}\cdot f\left(x\right)dx.$

Последнее выражение обозначим как $\tau ^{2}$:

$\tau ^{2}=\int _{-\infty }^{+\infty }x^{2}\cdot f\left(x\right)dx.$

Данная величина есть математическое ожидание квадрата случайной величины $X$. По свойствам дисперсии:

$\tau ^{2}=\mu ^{2}+\sigma ^{2},$

где $\sigma ^{2}$— дисперсия случайной величины $X$, $\mu$ — её математическое ожидание.

Вычислим теперь интеграл в левой части последнего неравенства:

$\int _{p_{1}}^{1}L^{2}\left(p\right)dp=\int _{p_{1}}^{1}\left[q^{\prime }\left(p_{0}\right)\right]^{2}\left(p-p_{1}\right)^{2}dp=\left[q^{\prime }\left(p_{0}\right)\right]^{2}\left.{\frac {\left(p-p_{1}\right)^{3}}{3}}\right|_{p_{1}}^{1}=\left[q^{\prime }\left(p_{0}\right)\right]^{2}{\frac {\left(1-p_{1}\right)^{3}}{3}}\leq \tau ^{2}$

$p_{1}=p_{0}-{\frac {q_{0}}{q^{\prime }\left(p_{0}\right)}}.$

$p_{0}-p_{1}={\frac {q_{0}}{q^{\prime }\left(p_{0}\right)}}$

$q^{\prime }\left(p_{0}\right)={\frac {q_{0}}{p_{0}-p_{1}}}$

$\left[{\frac {q_{0}}{p_{0}-p_{1}}}\right]^{2}{\frac {\left(1-p_{1}\right)^{3}}{3}}\leq \tau ^{2}$

Преобразуем это неравенство к виду

${\frac {q_{0}^{2}}{\tau ^{2}}}\leq {\frac {3\left(p_{0}-p_{1}\right)^{2}}{\left(1-p_{1}\right)^{3}}}={\frac {3\left(p_{0}-gp_{0}\right)^{2}}{\left(1-gp_{0}\right)^{3}}}={\frac {3p_{0}^{2}\left(1-g\right)^{2}}{\left(1-gp_{0}\right)^{3}}}.$

Исследование верхней границы

Исследуем верхнюю границу на экстремальные значения (в зависимости от значения $g$). Начнём с нахождения корней производной:

${\begin{aligned}{\frac {\partial }{\partial g}}\left[{\frac {3p_{0}^{2}\left(1-g\right)^{2}}{\left(1-gp_{0}\right)^{3}}}\right]=\\&=3p_{0}^{2}\cdot {\frac {2\left(1-g\right)\cdot \left(-1\right)\cdot \left(1-gp_{0}\right)^{3}-\left(1-g\right)^{2}\cdot 3\left(1-gp_{0}\right)^{2}\cdot \left(-p_{0}\right)}{\left(1-gp_{0}\right)^{6}}}=\\&={\frac {3p_{0}^{2}\left(1-g\right)\left(1-gp_{0}\right)^{2}\left[-2\left(1-gp_{0}\right)+3\left(1-g\right)p_{0}\right]}{\left(1-gp_{0}\right)^{6}}}=\\&={\frac {3p_{0}^{2}\left(1-g\right)}{\left(1-gp_{0}\right)^{4}}}\left[-2+2gp_{0}+3p_{0}-3gp_{0}\right]=\\&=-{\frac {3p_{0}^{2}\left(1-g\right)}{\left(1-gp_{0}\right)^{4}}}\left[2-3p_{0}+gp_{0}\right]\\\end{aligned}}$

Множитель перед квадратными скобками всегда отрицателен. Определим, когда выражения в квадратных скобках обращается в нуль:

$2-3p_{0}+g_{0}\cdot p_{0}=0.$

Решая данное уравнение, получим:

$g_{0}\cdot p_{0}=3p_{0}-2.$

$g_{0}=3-{\frac {2}{p_{0}}}.$

Величина $g$ также должно удовлетворять условию $0\leq g\leq 1$ :

$0\leq 3-{\frac {2}{p_{0}}}\leq 1$

Решая данное неравенство, получим:

$-3\leq -{\frac {2}{p_{0}}}\leq -2$

$2\leq {\frac {2}{p_{0}}}\leq 3$

${\frac {1}{3}}\leq {\frac {p_{0}}{2}}\leq {\frac {1}{2}}$

${\frac {2}{3}}\leq p_{0}\leq 1.$

Правое неравенство не даёт дополнительной информации. Левое же говорит, что корень будет принадлежать $\left[0;1\right]$ только при $p_{0}\geq {\frac {2}{3}}.$

Рассмотрим сначала случай $p_{0}\leq {\frac {2}{3}}$.

В этом случае всегда

${\frac {\partial }{\partial g}}\left[{\frac {3p_{0}^{2}\left(1-g\right)^{2}}{\left(1-gp_{0}\right)^{3}}}\right]\leq 0,$

а следовательно максимум выражения в квадратных скобках достигается при $g=0$:

${\frac {q_{0}^{2}}{\tau ^{2}}}\leq 3p_{0}^{2}$

или

$p_{0}\leq {\frac {q_{0}}{\tau {\sqrt {3}}}}.$

Если же $p_{0}>{\frac {2}{3}}$, то максимум будет в точке $g_{0}=3-{\frac {2}{p_{0}}}={\frac {3p_{0}-2}{p_{0}}}.$ Вычислим необходимые нам величины:

$1-g_{0}=1-3+{\frac {2}{p_{0}}}={\frac {2}{p_{0}}}-2={\frac {2\left(1-p_{0}\right)}{p_{0}}}$

и

$1-g_{0}p_{0}=1-\left(3p_{0}-2\right)=3\left(1-p_{0}\right).$

Подставляя эти выражения в исследуемое неравенство, получим:

${\frac {q_{0}^{2}}{\tau ^{2}}}\leq {\frac {3p_{0}^{2}\left(1-g\right)^{2}}{\left(1-gp_{0}\right)^{3}}}={\frac {3p_{0}^{2}}{3^{3}\left(1-p_{0}\right)^{3}}}{\frac {2^{2}\left(1-p_{0}\right)^{2}}{p_{0}^{2}}}=\left({\frac {2}{3}}\right)^{2}{\frac {1}{1-p_{0}}}$

или

$1-p_{0}\leq \left({\frac {2}{3}}\right)^{2}{\frac {\tau ^{2}}{q_{0}^{2}}}.$

Объединим полученные неравенства:

${\frac {q_{0}^{2}}{\tau ^{2}}}\leq {\begin{cases}3p_{0}^{2},&p_{0}\leq {\frac {2}{3}}\\{\frac {4}{9}}{\frac {1}{\left(1-p_{0}\right)}},&p_{0}>{\frac {2}{3}}\end{cases}}$

Извлекая квадратный корень, окончательно получим:

${\frac {q_{0}}{\tau }}\leq {\begin{cases}{\sqrt {3}}p_{0},&p_{0}\leq {\frac {2}{3}}\\{\frac {2}{3}}{\frac {1}{\sqrt {1-p_{0}}}},&p_{0}>{\frac {2}{3}}\end{cases}}$

Обращение неравенств

Если $p_{0}\leq {\frac {2}{3}}$, то

${\frac {q_{0}^{2}}{\tau ^{2}}}\leq 3p_{0}^{2}\leq 3\left({\frac {2}{3}}\right)^{2}={\frac {4}{3}}.$

Откуда получаем

$q_{0}\leq {\frac {2\tau }{\sqrt {3}}}.$

Это позволяет получить следующее неравенство:

$1-p_{0}={\begin{cases}1-{\frac {q_{0}}{{\sqrt {3}}\tau }},&q_{0}\leq {\frac {2\tau }{\sqrt {3}}}\\{\frac {4}{9}}{\frac {\tau ^{2}}{q_{0}^{2}}},&q_{0}\geq {\frac {2\tau }{\sqrt {3}}}\end{cases}}$

Обозначая $p_{0}=p$ и $q_{0}=x$, получим:

$\Pr \left\{\left|X\right|>x\right\}={\begin{cases}1-{\frac {x}{{\sqrt {3}}\tau }},&x\leq {\frac {2\tau }{\sqrt {3}}}\\{\frac {4}{9}}{\frac {\tau ^{2}}{x^{2}}},&x\geq {\frac {2\tau }{\sqrt {3}}}\end{cases}}.$

Завершение доказательства

Выше мы предполагали, что мода случайной величины $X$ равна нулю. В случае произвольной моды $m$, нужно приведённые выше рассуждения применить к случайной величине $X-m$, мода которой, очевидно, равна нулю. Тогда последняя формула примет вид:

$\Pr \left\{\left|X-m\right|>x\right\}={\begin{cases}1-{\frac {x}{{\sqrt {3}}\tau }},&x\leq {\frac {2\tau }{\sqrt {3}}}\\{\frac {4}{9}}{\frac {\tau ^{2}}{x^{2}}},&x\geq {\frac {2\tau }{\sqrt {3}}}\end{cases}}.$

Величина $\tau ^{2}$перейдём, по свойствам математического ожидания и дисперсии, в

$\tau ^{2}=\left(\mu -m\right)^{2}+\sigma ^{2}.$

Таким образом, теорема полностью доказана.

См. также

• Неравенство Высочанского — Петунина, похожий результат, но интервал строится с центром в среднем значении, а не в моде.
• Неравенство Чебышёва, интервал строится с центром в среднем значении и отсутствует условие одномодальности.

Ссылки

• Gauss, C. F. Theoria Combinationis Observationum Erroribus Minimis Obnoxiae, Pars Prior (англ.) // Commentationes Societatis Regiae Scientiarum Gottingensis Recentiores : journal. — 1823. — Vol. 5.
• Gauss C. F. Gauss’s work 1803-1826) on the Theory of Least Squares / English translation by H. F. Trotter. — Princeton, NJ: Princeton University Press, 1957. — С. 10—13. Архивировано 24 декабря 2016 года. Архивная копия от 24 декабря 2016 на Wayback Machine
• Upton, Graham; Cook, Ian. Gauss inequality // A Dictionary of Statistics (англ.). — Oxford University Press, 2008.
• Sellke, T.M.; Sellke, S.H. Chebyshev inequalities for unimodal distributions (англ.) // American Statistician : journal. — American Statistical Association, 1997. — Vol. 51, no. 1. — P. 34—40. — doi:10.2307/2684690. — .
• Pukelsheim, F. The Three Sigma Rule (англ.) // American Statistician : journal. — American Statistical Association, 1994. — Vol. 48, no. 2. — P. 88—91. — doi:10.2307/2684253. — .