Дисперсионный анализ

Дисперсионный анализ — метод в математической статистике, направленный на поиск зависимостей в экспериментальных данных путём исследования значимости различий в средних значениях. В отличие от t-критерия, позволяет сравнивать средние значения трёх и более групп. Разработан Р. Фишером для анализа результатов экспериментальных исследований. В литературе также встречается обозначение ANOVA (от англ. ANalysis Of VAriance).

Типы дисперсионного анализа

Суть дисперсионного анализа сводится к изучению влияния одной или нескольких независимых переменных, обычно именуемых факторами, на зависимую переменную. Зависимые переменные представлены значениями абсолютных шкал (шкала отношений). Независимые переменные являются номинативными (шкала наименований), то есть отражают групповую принадлежность, и могут иметь два или более значения (типа, градации или уровня). Примерами независимой переменной $X_{i}$ с двумя значениями могут служить пол (женский: $X_{1}$, мужской: $X_{2}$) или тип экспериментальной группы (контрольная: $X_{1}$, экспериментальная: $X_{2}$). Градации, соответствующие независимым выборкам объектов, называются межгрупповыми, а градации, соответствующие зависимым выборкам, — внутригрупповыми.

В зависимости от типа и количества переменных различают:

• однофакторный и многофакторный дисперсионный анализ (одна или несколько независимых переменных);
• одномерный и многомерный дисперсионный анализ (одна или несколько зависимых переменных);
• дисперсионный анализ с повторными измерениями (для зависимых выборок);
• дисперсионный анализ с постоянными факторами, случайными факторами, и смешанные модели с факторами обоих типов;

Математическая модель дисперсионного анализа

Математическая модель дисперсионного анализа представляет собой частный случай основной линейной модели. Пусть с помощью методов $A_{j}\ (1\leq j\leq m)$ производится измерение нескольких параметров $x_{i}\ (1\leq i\leq n)$, чьи точные значения — $\mu _{i}\ (1\leq i\leq n)$. В таком случае результаты измерений различных величин различными методами можно представить как:

$x_{i,j}=\mu _{i}+a_{i,j}+e_{i,j}$,

где:

• $x_{i,j}$ — результат измерения $i$-го параметра по методу $A_{j}$;
• $\mu _{i}$ — точное значение $i$-го параметра;
• $a_{i,j}$ — систематическая ошибка измерения $i$-го параметра в группе по методу $A_{j}$;
• $e_{i,j}$ — случайная ошибка измерения $i$-го параметра по методу $A_{j}$.

Тогда дисперсии следующих случайных величин:
$x_{i,j}$
$x_{i,j}-x_{i,*}-x_{*,j}+x_{*,*}$
$x_{i,*}$
$x_{*,j}$
(где:

$x_{*,j}={\frac {1}{n}}\sum _{i}x_{i,j},$

$x_{i,*}={\frac {1}{m}}\sum _{j}x_{i,j},$

$x_{*,*}={\frac {1}{nm}}\sum _{i,j}x_{i,j}$)

выражаются как:

$s^{2}={\frac {1}{nm}}\sum _{i}\sum _{j}(x_{i,j}-x_{*,*})^{2}$

$s_{0}^{2}={\frac {1}{nm}}\sum _{i}\sum _{j}(x_{i,j}-x_{i,*}-x_{*,j}+x_{*,*})^{2}$

$s_{1}^{2}={\frac {1}{n}}\sum _{i}(x_{i,*}-x_{*,*})^{2}$

$s_{2}^{2}={\frac {1}{m}}\sum _{j}(x_{*,j}-x_{*,*})^{2}$

и удовлетворяют тождеству:

$s^{2}=s_{0}^{2}+s_{1}^{2}+s_{2}^{2}$

Процедура дисперсионного анализа состоит в определении соотношения систематической (межгрупповой) дисперсии к случайной (внутригрупповой) дисперсии в измеряемых данных. В качестве показателя изменчивости используется сумма квадратов отклонения значений параметра от среднего: $SS$ (от англ. Sum of Squares). Можно показать, что общая сумма квадратов $SS_{\textrm {total}}$ раскладывается на межгрупповую сумму квадратов $SS_{\textrm {bg}}$ и внутригрупповую сумму квадратов $SS_{\textrm {wg}}$:

$SS_{\textrm {total}}=SS_{\textrm {bg}}+SS_{\textrm {wg}}$

Пусть точное значение каждого параметра есть его математическое ожидание, равное среднему генеральной совокупности $E(X)=M$. При отсутствии систематических ошибок групповое среднее и среднее генеральной совокупности тождественны: $M_{j}=M$. Тогда случайная ошибка измерения есть разница между результатом измерения $x_{i,j}$ и средним группы: $x_{i,j}-M_{j}$. Если же метод $A_{j}$ оказывает систематическое воздействие, то систематическая ошибка при воздействии этого фактора есть разница между средним группы $M_{j}$ и средним генеральной совокупности: $M_{j}-M$.

Тогда уравнение $x_{i,j}=\mu _{i}+a_{i,j}+e_{i,j}$ может быть представлено в следующем виде:

$x_{i,j}=M+(M_{j}-M)+(x_{i,j}-M_{j})$, или

$x_{i,j}-M=(M_{j}-M)+(x_{i,j}-M_{j})$.

Тогда

${\begin{aligned}\sum _{i=1}^{n_{j}}(x_{i,j}-M)^{2}&=\sum _{i=1}^{n_{j}}(M_{j}-M)^{2}+\sum _{i=1}^{n_{j}}(x_{i,j}-M_{j})^{2},\\\end{aligned}}$

где

$SS_{\textrm {total}}=\sum _{i=1}^{n_{j}}(x_{i,j}-M)^{2}$

$SS_{\textrm {bg}}=\sum _{i=1}^{n_{j}}(M_{j}-M)^{2}$

$SS_{\textrm {wg}}=\sum _{i=1}^{n_{j}}(x_{i,j}-M_{j})^{2}$

Следовательно

$SS_{\textrm {total}}=SS_{\textrm {bg}}+SS_{\textrm {wg}}.$

Аналогичным образом раскладываются степени свободы:

$df_{\textrm {total}}=df_{\textrm {bg}}+df_{\textrm {wg}},$ где

$df_{\textrm {total}}=N-1,$

$df_{\textrm {bg}}=J-1,$

$df_{\textrm {wg}}=N-J,$

и $N$ есть объём полной выборки, а $J$ — количество групп.

Тогда дисперсия каждой части, именуемая в модели дисперсионного анализа как «средний квадрат», или $MS$ (от англ. Mean Square), есть отношение суммы квадратов к числу их степеней свободы:

$MS_{\textrm {total}}={\frac {SS_{\textrm {total}}}{N-1}}$

$MS_{\textrm {bg}}={\frac {SS_{\textrm {bg}}}{J-1}}$

$MS_{\textrm {wg}}={\frac {SS_{\textrm {wg}}}{N-J}},$

Соотношение межгрупповой и внутригрупповой дисперсий имеет F-распределение (распределение Фишера) и определяется при помощи (F-критерия Фишера):

$F_{df_{\textrm {bg}},df_{\textrm {wg}}}={\frac {MS_{\textrm {bg}}}{MS_{\textrm {wg}}}}.$

Принципы и применение

Исходными положениями дисперсионного анализа являются

• нормальное распределение значений изучаемого признака в генеральной совокупности;
• равенство дисперсий в сравниваемых генеральных совокупностях;
• случайный и независимый характер выборки.

Нулевой гипотезой в дисперсионном анализе является утверждение о равенстве средних значений:

$H_{0}{:}\quad \mu _{1}=\mu _{2}=\dots =\mu _{j}.$

При отклонении нулевой гипотезы принимается альтернативная гипотеза о том, что не все средние равны, то есть имеются, по крайней мере, две группы, отличающиеся средними значениями:

$H_{1}{:}\exists i,j\in \{1,...,j\},i\neq j:\mu _{i}\neq \mu _{j}.$

При наличии трёх и более групп для определения различий между средними применяются post-hoc t-тесты или метод контрастов.

Однофакторный дисперсионный анализ

Простейшим случаем дисперсионного анализа является одномерный однофакторный анализ для двух или нескольких независимых групп, когда все группы объединены по одному признаку. В ходе анализа проверяется нулевая гипотеза о равенстве средних. При анализе двух групп дисперсионный анализ тождественен двухвыборочному t-критерию Стьюдента для независимых выборок, и величина F-статистики равна квадрату соответствующей t-статистики.

Для подтверждения положения о равенстве дисперсий обычно применяется критерий Ливена (Levene’s test). В случае отвержения гипотезы о равенстве дисперсий основной анализ неприменим. Если дисперсии равны, то для оценки соотношения межгрупповой и внутригрупповой изменчивости применяется F-критерий Фишера:

$F_{df_{\textrm {bg}},df_{\textrm {wg}}}={\frac {MS_{\textrm {bg}}}{MS_{\textrm {wg}}}}.$

Если F-статистика превышает критическое значение, то нулевая гипотеза не может быть принята (отвергается) и делается вывод о неравенстве средних. При анализе средних двух групп результаты могут быть интерпретированы непосредственно после применения критерия Фишера.

При наличии трёх и более групп требуется попарное сравнение средних для выявления статистически значимых отличий между ними. Априорный анализ включает метод контрастов, при котором межгрупповая сумма квадратов дробится на суммы квадратов отдельных контрастов:

$SS_{\textrm {bg}}=SS_{\psi _{1}}+SS_{\psi _{2}}+...+SS_{\psi _{n}},$

где $\psi$ есть контраст между средними двух групп, и затем при помощи критерия Фишера проверяется соотношение среднего квадрата для каждого контраста к внутригрупповому среднему квадрату:

$F_{1,df_{\textrm {wg}}}={\frac {MS_{\psi _{i}}}{MS_{\textrm {wg}}}}.$

Апостериорный анализ включает post-hoc t-критерии по методам Бонферрони или Шеффе, а также сравнение разностей средних по методу Тьюки. Особенностью post-hoc-тестов является использование внутригруппового среднего квадрата $MS_{\textrm {wg}}$ для оценки любых пар средних. Тесты по методам Бонферрони и Шеффе являются наиболее консервативными, так как они используют наименьшую критическую область при заданном уровне значимости $\alpha$.

Помимо оценки средних дисперсионный анализ включает определение коэффициента детерминации $R^{2}$, показывающего, какую долю общей изменчивости объясняет данный фактор:

$R^{2}={\frac {SS_{\textrm {bg}}}{SS_{\textrm {total}}}}.$

Многофакторный дисперсионный анализ

• Многофакторный анализ позволяет проверить влияние нескольких факторов на зависимую переменную. Линейная модель многофакторной модели имеет вид:

$x_{i,j,k}=\mu _{i}+a_{i,j}+b_{i,k}+...+(ab)_{i,j,k}+e_{i,j,k}$, где:

• • $x_{i,j,k}$ — результат измерения $i$-го параметра;
  • $\mu _{i}$ — среднее для $i$-го параметра;
  • $a_{i,j}$ — систематическая ошибка измерения $i$-го параметра в $j$ группе по методу $A$;
  • $b_{i,k}$ — систематическая ошибка измерения $i$-го параметра в $k$ группе по методу $B$;
  • $(ab)_{i,j,k}$ — систематическая ошибка измерения $i$-го параметра в $j,k$ группе в силу комбинации методов $A$ и $B$;
  • $e_{i,j,k}$ — случайная ошибка измерения $i$-го параметра.

В отличие от однофакторной модели, где имеется одна межгрупповая сумма квадратов, модель многофакторного анализа включает суммы квадратов для каждого фактора в отдельности и суммы квадратов всех взаимодействий между ними. Так, в двухфакторной модели межгрупповая сумма квадратов раскладывается на сумму квадратов фактора $A$, сумму квадратов фактора $B$ и сумму квадратов взаимодействия факторов $A$ и $B$:

$SS_{\textrm {total}}=SS_{A}+SS_{B}+SS_{AB}+SS_{\textrm {wg}}.$

Соответственно трёхфакторная модель включает сумму квадратов фактора $A$, сумму квадратов фактора $B$, сумму квадратов фактора $C$ и суммы квадратов взаимодействий факторов $A$ и $B$, $B$ и $C$, $A$ и $C$, а также взаимодействия всех трёх факторов $A,B,C$:

$SS_{\textrm {total}}=SS_{A}+SS_{B}+SS_{C}+SS_{AB}+SS_{BC}+SS_{AC}+SS_{ABC}+SS_{\textrm {wg}}.$

Степени свободы раскладываются аналогичным образом:

$df_{\textrm {total}}=df_{A}+df_{B}+df_{AB}+df_{\textrm {wg}},$ где

$df_{\textrm {total}}=N-1,$

$df_{A}=J-1,$

$df_{B}=K-1,$

$df_{AB}=(J-1)(K-1),$

$df_{\textrm {wg}}=N-JK,$

и $N$ есть объём полной выборки, $J$ — количество уровней (групп) фактора $A$, а $K$ — количество уровней (групп) фактора $B$.

В ходе анализа проверяются несколько нулевых гипотез:

• гипотеза о равенстве средних под влиянием фактора $A$: $H_{0}{:}\ \mu _{1,*}=\mu _{2,*}=\dots =\mu _{j,*}$;
• гипотеза о равенстве средних под влиянием фактора $B$: $H_{0}{:}\ \mu _{*,1}=\mu _{*,2}=\dots =\mu _{*,k}$;
• гипотеза об отсутствии взаимодействия факторов $A$ и $B$: $H_{0}{:}\ (ab)_{j,k}=0$ для всех $j$ и $k.$

Каждая гипотеза проверяется с помощью критерия Фишера:

$F_{df_{A},df_{\textrm {wg}}}={\frac {MS_{A}}{MS_{\textrm {wg}}}};$

$F_{df_{B},df_{\textrm {wg}}}={\frac {MS_{B}}{MS_{\textrm {wg}}}};$

$F_{df_{AB},df_{\textrm {wg}}}={\frac {MS_{AB}}{MS_{\textrm {wg}}}}.$

При отвержении нулевой гипотезы о влиянии отдельного фактора принимается утверждение, что присутствует главный эффект фактора $A$ ($B,$ и т. д.). При отвержении нулевой гипотезы о взаимодействии факторов принимается утверждение о том, что влияние фактора $A$ проявляется по-разному на разных уровнях фактора $B$. Обычно в таком случае результаты общего анализа признаются не имеющими силы, и влияние фактора $A$ проверяется отдельно на каждом уровне фактора $B$ с помощью однофакторного дисперсионного анализа или t-критерия.

Литература

• Шеффе Г. Дисперсионный анализ, пер. с англ. — М., 1963.
• Смирнов Н. В., Дунин-Барковский И. В. Курс теории вероятностей и математической статистики для технических приложений. — 2 изд.. — М., 1965.