Коэффициент Байеса

Коэффицие́нт Ба́йеса — байесовская альтернатива проверке статистических гипотез. Байесовское сравнение моделей — метод выбора моделей на основе коэффициентов Байеса. Обсуждаемые модели являются статистическими моделями. Целью коэффициента Байеса является количественное выражение поддержки модели по сравнению с другой моделью, независимо от того, верны модели или нет. Техническое определение понятия «поддержка» в контексте байесовского вывода дано ниже.

Определение

Коэффициент Байеса является отношением правдоподобия для предельного правдоподобия двух гипотез, обычно нулевой гипотезы и альтернативной.

Апостериорная вероятность $\Pr(M|D)$ модели M, задаваемой данными D, определяется теоремой Байеса:

$\Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.$

Ключевой зависящий от данных член $\Pr(D|M)$ является правдоподобием модели M с учётом данных D и он представляет вероятность того, что некоторые данные получены в предположении принятия модели M. Правильное вычисление этого члена является ключом байесовского сравнения моделей.

Если дана задача выбора модели, в которой мы должны выбрать между двумя моделями на основе наблюдаемых данных D, относительная правдоподобность двух различных моделей M₁ и M₂, параметризованных векторами параметров $\theta _{1}$ и $\theta _{2}$, определяется коэффициентом Байеса K, определяемым как

$K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}={\frac {\Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}.$

Если две модели априори одинаково вероятны, так что $\Pr(M_{1})=\Pr(M_{2}),$ коэффициент Байеса равен отношению апостериорных вероятностей моделей M₁ и M₂. Если вместо интеграла коэффициента Байеса используется правдоподобие, соответствующее максимальной оценке правдоподобия параметра для каждой статистической модели, то тест становится классическим тестом отношения правдоподобия. В отличие от теста отношения правдоподобия, байесовское сравнение моделей не зависит от какого-либо конкретного набора параметров, так как оно вычисляется в результате интегрирования по всем параметрам в каждой модели (с учётом априорных вероятностей). Однако преимущество использования коэффициентов Байеса заключается в том, что они автоматически и вполне естественным образом включают штраф за избыточное включение структуры модели. Это ограждает от переобучения. В случае моделей, у которых явный вид функции правдоподобия неизвестен или её вычисление слишком затратно, для байесовского выбора модели могут быть использованы приближённые байесовские вычисления , хотя следует принять во внимание, что приближённая байесовская оценка коэффициентов Байеса часто смещена.

Другие подходы:

• трактовать модель сравнения как задачу принятия решений, вычисляя ожидаемое значение или цену каждого выбора модели;
• использовать принцип сообщений минимальной длины (англ. minimum message length, MML).

Интерпретация

Значение K > 1 означает, что гипотеза M₁ сильнее поддерживается данными, чем гипотеза M₂. Заметим, что классическая проверка статистических гипотез принимает по умолчанию одну гипотезу (или модель) («нулевая гипотеза»), и рассматривает только свидетельства против неё. Гарольд Джеффрис приводит таблицу для интерпретации полученного значения K:

K	dHart	битов	Весомость доказательств
< 100	0	—	Отрицательная (поддерживает M2)
100...101/2	0...5	0...1,6	Едва заслуживает внимания
101/2...101	5...10	1,6...3,3	Значительная
101...103/2	10...15	3,3...5,0	Сильная
103/2...102	15...20	5,0...6,6	Очень сильная
> 102	> 20	> 6,6	Убедительная

Второй столбец даёт соответствующие веса поддержки в единицах децихартли (известных также как децибаны), биты добавлены в третьем столбце для ясности. Согласно И. Дж. Гуду, люди в повседневной жизни едва могут разумно оценить разницу в степени доверия гипотезе, соответствующую изменению веса на 1 децибан или 1/3 бита (например, отношение исходов 4:5 в 9 испытаниях с двумя возможными исходами).

Альтернативную широко цитируемую таблицу предложили Касс и Рафтери (1995):

log10K	K	Весомость доказательств
от 0 до 1⁄2	от 1 до 3,2	Достойна лишь простого упоминания
от 1⁄2 до 1	от 3,2 до 10	Положительная
от 1 до 2	от 10 до 100	Сильная
> 2	> 100	Очень сильная

Использование коэффициентов Байеса или классической проверки статистических гипотез происходит в контексте вывода, а не принятия решений в условиях неопределённости. То есть мы только хотим найти, какая гипотеза верна, а не принимаем действительное решение на основе этой информации. Частотная статистика делает строгое различие между этими двумя подходами, поскольку классические методы проверки гипотез не когерентны в байесовском смысле. Байесовские процедуры, включая коэффициенты Байеса, когерентны, так что нет необходимости делать это различие. Вывод тогда просто рассматривается как частный случай принятия решения в условиях неопределённости, в котором конечным действием является возврат значения. Для принятия решений статистики, использующие байесовский подход, могут использовать коэффициент Байеса вместе с априорным распределением и функцией потерь. В контексте вывода функция потерь примет вид правила подсчёта результата. Использование логарифмического правила подсчёта, например, приводит к ожидаемой полезности, принимающей форму расхождение Кульбака — Лейблера.

Пример

Предположим, что у нас есть случайная величина, которая принимает значение либо успех, либо неудача. Мы хотим сравнить модель M₁, где вероятность успеха равна q = ½, и другую модель M₂, в которой значение q неизвестно, и мы принимаем в качестве априорного распределения для q однородное распределение на [0,1]. Мы делаем 200 испытаний и получаем 115 успехов и 85 неудач. Правдоподобие может быть вычислено согласно биномиальному распределению:

${{200 \choose 115}q^{115}(1-q)^{85}}.$

Тогда мы имеем для гипотезы M₁

$P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}=0,005956...,\,$

тогда как для M₂

$P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={200 \choose 115}\times \int _{0}^{1}q^{115}(1-q)^{85}dq={200 \choose 115}\times$ $\mathrm {B} (116,86)$ $={200 \choose 115}\times$ $\Gamma (116)\times \Gamma (86) \over \Gamma (116+86)$ $={\frac {200!}{{115!}\times {85!}}}\times {\frac {{115!}\times {85!}}{201!}}={1 \over 201}=0,004975....$

Отношение этих величин составляет 1,197…, следовательно, различие «едва заслуживает внимания», хотя выбор склоняется слегка в сторону M₁.

Проверка этих статистических гипотез на основе частотного вывода M₁ (рассматривается здесь как нулевая гипотеза) даст совершенно другой результат. Такая проверка утверждает, что гипотеза M₁ должна быть отброшена на уровне значимости 5 %, поскольку вероятность получения 115 или более успехов из выборки в 200 элементов при q = ½ равна 0,0200, а двухсторонний критерий получения экстремума в 115 или более даёт 0,0400. Заметим, что 115 отличается от 100 более чем на два стандартных отклонения. Таким образом, в то время как проверка статистической гипотезы на основе частотного вывода даёт статистическую значимость на уровне 5 %, коэффициент Байеса вряд ли примет это как экстремальный результат. Заметим, однако, что неоднородное априорное распределение (например, такое, которое отражает ожидание, что числа успешных и неуспешных исходов будут одного порядка величины) может привести к коэффициенту Байеса, который больше согласуется с проверкой на основе частотного вывода.

В классическом тесте отношения правдоподобия была бы найдена оценка максимального правдоподобия для q, равная 115⁄200 = 0,575, откуда

$\textstyle P(X=115\mid M_{2})={{200 \choose 115}q^{115}(1-q)^{85}}=0,056991$

(вместо усреднения по всем возможным q). Это даёт отношение правдоподобия 0,1045 и указывает на гипотезу M₂.

M₂ является более сложной моделью, чем M₁, поскольку имеет свободный параметр, который позволяет описывать данные более согласованно. Способность коэффициентов Байеса учитывать это является причиной, почему байесовский вывод выдвигается как теоретическое обоснование и обобщение бритвы Оккама, в котором уменьшаются ошибки первого рода.

С другой стороны, современный метод относительного правдоподобия принимает во внимание число свободных параметров моделей, в отличие от классического отношения правдоподобия. Метод относительного правдоподобия можно применить следующим образом. Модель M₁ имеет 0 параметров, а потому её значение информационного критерия Акаике (AIC) равно 2 · 0 − 2 ln 0,005956 ≈ 10,2467. Модель M₂ имеет 1 параметр, а потому её значение AIC равно 2 · 1 − 2 ln 0,056991 ≈ 7,7297. Следовательно, M₁ с меньшей вероятностью минимизирует потерю информации, чем M₂, примерно в exp((7,7297 − 10,2467)/2) ≈ 0,284 раза. Таким образом, M₂ слегка предпочтительнее, но M₁ отбрасывать нельзя.

Приложение

• Коэффициент Байеса был применён для упорядочения динамической экспрессии генов вместо q-значения.

См. также

• Информационный критерий Акаике
• Приближенные байесовские вычисления
• Байесовский информационный критерий
• Информационный критерий суммы квадратов отклонений от среднего
• Парадокс Линдли
• Сообщение минимальной длины
• Выбор модели

Статистические показатели

• Отношение шансов
• Относительный риск

Ссылка

• BayesFactor —an R package for computing Bayes factors in common research designs
• Bayes Factor Calculators —web-based version of much of the BayesFactor package