Анализ независимых компонент

Анализ независимых компонент (АНК, англ. Independent Component Analysis, ICA), называемый также Метод независимых компонент (МНК) — это вычислительный метод в обработке сигналов для разделения многомерного сигнала на аддитивные подкомпоненты. Этот метод применяется при предположении, что подкомпоненты являются негауссовыми сигналами и что они статистически независимы друг от друга. АНК является специальным случаем слепого разделения сигнала. Типичным примером приложения является задача вечеринки с коктейлем — когда люди на шумной вечеринке выделяют голос собеседника, несмотря на громкую музыку и шум людей в помещении: мозг способен фильтровать звуки и сосредотачиваться на одном источнике (голос визави) в реальном времени.

Введение

АНК на четырёх случайно смешанных видео

Анализ независимых компонент пытается разложить множественный сигнал на независимые негауссовые сигналы. Например звук обычно является сигналом, который состоит из сложения в каждый момент одиночных t-сигналов, идущих из нескольких источников. Вопрос заключается в том, возможно ли разделить эти источники, выделяя их из общего сигнала. Если допущение статистической независимости верно, слепое разделение независимых компонент смешанного сигнала даст очень хорошие результаты. Метод также применяется для анализа сигналов, которые могут быть и не смешанными.

Простым приложением АНК является «задача о шумной вечеринке», когда собеседники слышат друг друга, выделяя голос собеседника из общего сигнала, состоящего из шума одновременно говорящих людей в помещении и шумной улицы за окном. Обычно задача упрощается предположением, что задержка по времени или эхо отсутствуют. Заметим, что отфильтрованный и задержанный сигнал является копией зависимой компоненты, и тогда допущение статистической независимости не нарушено.

Важно также учитывать, что если представлено ${\textstyle N}$ источников, нужно по меньшей мере ${\textstyle N}$ наблюдений (например микрофонов, если наблюдаемый сигнал — аудио), чтобы обнаружить исходные сигналы. В этом случае матрица квадратна (${\textstyle J=D}$ , где ${\textstyle D}$ входная размерность данных, а ${\textstyle J}$ — размерность модели). Иначе получаем и исследуем недоопределённый (${\textstyle J>D}$) или переопределённый (${\textstyle J<D}$) случай.

Метод АНК — разделение смешанных сигналов, базируется на двух допущениях и трёх эффектах источников смешанного сигнала, что даёт очень хорошие результаты. Двумя допущениями являются:

1. Источники сигналов независимы друг от друга.
2. Значения каждого источника сигнала имеют негауссово распределение.

Тремя эффектами источника смешанного сигнала являются:

1. Независимость: как в и допущении 1, источники сигналов независимы, однако их смесь не является независимой от источников, потому что смесь сигналов имеет одни и те же источники.
2. Нормальность: согласно центральной предельной теореме, распределение суммы независимых случайных переменных с конечной дисперсией стремится к гауссовому распределению. Попросту говоря, сумма двух независимых случайных переменных обычно имеет распределение более близкое к гауссовому, чем любое из двух исходных случайных переменных. Здесь мы рассматриваем каждый сигнал как случайную переменную.
3. Сложность: временна́я сложность любой смеси сигналов больше, чем сложность одного сигнала, более простого по его составляющим.

Эти принципы составляют базовые основы АНК. Если сигналы, которые нам удалось извлечь из смеси, независимы, подобно исходным сигналам, и имеют негауссовые гистограммы или имеют малую сложность, подобную сигналу источников, они должны быть сигналами источников.

Определение независимости компонент

АНК находит независимые компоненты (которые называются факторами, скрытыми переменными или источниками) путём максимизации статистической независимости оцениваемых компонент. Можно выбрать один из многих путей для определения заменителя независимости, и этот выбор определит форму алгоритма АНК. Два наиболее широких определения независимости АНК:

1. Минимизация взаимной информации
2. Максимизация негауссовости

Семейство алгоритмов АНК с минимизацией взаимной информации (англ. Minimization-of-Mutual information, MMI) использует такие меры, как расхождение Кульбака — Лейблера и максимальная энтропия. Семейство алгоритмов АНК с максимизацией негауссовости использует коэффициент эксцесса и негэнтропию.

Типичным алгоритмам АНК свойственно использование следующих методов:

• центрирование (вычитание среднего и создание нулевого среднего для сигнала);
• избавление от корреляции (обычно с помощью спектрального разложения матрицы);
• снижение размерности в качестве препроцессорных шагов для снижения сложности проблемы и создания действительного итеративного алгоритма.

Декорреляция и снижение размерности могут быть получены методом главных компонент или сингулярным разложением. Декорреляция обеспечивает методу такие условия, когда все размерности трактуются одинаково и установлены априори до прогона алгоритма. Хорошо известные алгоритмы для АНК: infomax, FastICA, JADE, ядерный независимый компонентный анализ и многие другие. В общем случае АНК не сможет определить действительное число источников сигналов, единственно правильный порядок или масштаб (включая знак) сигналов.

АНК важен для слепого разделения сигнала и имеет много практических приложений. Метод тесно связан с поиском (или даже является частным случаем поиска) факториального кодирования данных, то есть нового векторного представления каждого вектора данных таким образом, чтобы он был однозначно закодирован результирующим кодовым вектором (кодирование без потерь), при этом компоненты кода статистически независимы.

Математическое определение

Линейный анализ независимых компонент может быть разделён на случай без шумов и случай с шумами, где АНК без шумов является частым случаем АНК с шумом. Нелинейный АНК следует считать отдельным случаем.

Общее определение

Данные представлены наблюдаемым случайным вектором ${\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}$, а скрытые компоненты случайным вектором ${\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}$. Задачей построения алгоритма является преобразование наблюдаемых данных ${\boldsymbol {x}}$ с помощью статического преобразования ${\boldsymbol {W}}$ в наблюдаемый вектор максимально независимых компонент ${\boldsymbol {s}}={\boldsymbol {W}}{\boldsymbol {x}}$, измеренных некоторой функцией независимости $F(s_{1},\ldots ,s_{n})$.

Генерирующая модель

Линейная АНК без шума

Компоненты $x_{i}$ наблюдаемого случайного вектора ${\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}$ генерируются как сумма независимых компонент $s_{k}$, $k=1,\ldots ,n$:

$x_{i}=a_{i,1}s_{1}+\cdots +a_{i,k}s_{k}+\cdots +a_{i,n}s_{n}$

взвешенных весами $a_{i,k}$.

Та же генерирующая модель может быть записана в векторном виде как ${\boldsymbol {x}}=\sum _{k=1}^{n}{\boldsymbol {s}}_{k}{\boldsymbol {a}}_{k}$, где наблюдаемый случайный вектор $x$ представлен базисными векторами ${\boldsymbol {a}}_{k}=({\boldsymbol {a}}_{1,k},\ldots ,{\boldsymbol {a}}_{m,k})^{T}$. Базисные вектора ${\boldsymbol {a}}_{k}$ образуют столбцы матрицы смешивания ${\boldsymbol {A}}=({\boldsymbol {a}}_{1},\ldots ,{\boldsymbol {a}}_{n})$ и генерирующая формула может быть записана как ${\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}$, где ${\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}$.

Если дана модель и реализации $x_{1},\ldots ,x_{N}$ случайного вектора ${\boldsymbol {x}}$, задачей является оценка как матрицы смешивания ${\boldsymbol {A}}$, так и источников ${\boldsymbol {s}}$. Это делается путём адаптивного вычисления векторов ${\boldsymbol {w}}$ и установления функции цены, которая либо максимизирует негауссовость вычисленного $s_{k}={\boldsymbol {w}}^{T}{\boldsymbol {x}}$ или минимизирует взаимную информацию. В некоторых случаях априорное знание распределения вероятности источников может быть использовано в функции цены.

Исходные источники ${\boldsymbol {s}}$ могут быть извлечены путём умножения наблюдаемых сигналов ${\boldsymbol {x}}$ на обратную к матрице смешивания ${\boldsymbol {W}}={\boldsymbol {A}}^{-1}$, которая известна также как не смешивающая матрица. Здесь предполагается, что матрица смешивания квадратная ($n=m$). Если число базисных векторов больше размерности наблюдаемых векторов $n>m$, задача является переопределённой, но остаётся разрешимой с помощью псевдообратной матрицы.

Линейный АНК с шумом

С добавочным предположением о нулевом среднем и не коррелирующим гауссовым шумом $n\sim N(0,\operatorname {diag} (\Sigma ))$, модель АНК принимает форму ${\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}+n$.

Нелинейный АНК

Смесь источников не обязательно должна быть линейной. Используя нелинейную функцию смешивания $f(\cdot |\theta )$ с параметрами $\theta$ нелинейной моделью АНК будет $x=f(s|\theta )+n$.

Различимость

Независимые компоненты различимы с точностью до перестановки и масштабирования источников. Эта различимость требует, чтобы:

• Максимум один из источников $s_{k}$ был гауссовым,
• Число наблюдаемых смесей $m$ должно быть не меньше числа компонент $n$: $m\geqslant n$. Это эквивалентно высказыванию, что матрица смеси ${\boldsymbol {A}}$ должна иметь полный ранг, чтобы существовала обратная ей смесь.

Бинарный анализ независимых компонент

Специальным вариантом АНК является Бинарный АНК, в котором как источники сигнала, так и мониторы имеют двоичную форму, а наблюдения от мониторов являются дизъюнктивной смесью бинарных независимых источников. Задача, как было показано, имеет приложения во многих областях, включая медицинскую диагностику, многокластерное назначение, сетевую томографию и управление ресурсами интернета.

Пусть ${x_{1},x_{2},\ldots ,x_{m}}$ является набором бинарных переменных из $m$ мониторов и ${y_{1},y_{2},\ldots ,y_{n}}$ является набором бинарных переменных из $n$ источников. Связи источник-монитор представлены (неизвестной) смешанной матрицей ${\textstyle {\boldsymbol {G}}}$, где $g_{ij}=1$ указывает, что сигнал от i-го источника может наблюдаться j-м монитором. Система работает следующим образом: в любое время, если источник $i$ активен ($y_{i}=1$) и он связан с монитором $j$ ($g_{ij}=1$), то монитор $j$ будет наблюдать некоторую активность ($x_{j}=1$). Формально мы имеем:

$x_{i}=\bigvee _{j=1}^{n}(g_{ij}\wedge y_{j}),i=1,2,\ldots ,m,$

где $\wedge$ является булевым И (англ. AND), а $\vee$ является булевым ИЛИ (англ. OR). Заметим, что шум не моделируется явно, а трактуется как независимые источники.

Описанная выше проблема может быть эвристически решена (при предположении, что переменные непрерывны) путём применения метода FastICA на бинарных наблюдаемых данных для получения смешанной матрицы ${\textstyle {\boldsymbol {G}}}$ (получены вещественные значения), затем применяем технику округления на ${\textstyle {\boldsymbol {G}}}$ для получения бинарных значений. Этот подход, как было показано, даёт крайне неточный результат.

Другим методом является использование динамического программирования — матрица рекурсивно разбивает наблюдения ${\textstyle {\boldsymbol {X}}}$ на подматрицы и алгоритм вывода прогоняется на этих подматрицах. Ключевое наблюдение, которое ведёт к этому алгоритму: подматрица ${\textstyle {\boldsymbol {X}}^{0}}$ матрицы ${\textstyle {\boldsymbol {X}}}$, где ${\textstyle x_{ij}=0\forall j}$ соответствует несмещённой матрице наблюдений скрытых компонент, которые не имеют связи с $i$-м монитором. Результаты экспериментов показывают, что этот подход точен при умеренном уровне шумов.

Аппарат обобщённой бинарной АНК вводит более широкое описание проблемы, которое не требует какого-либо знания о порождающей модели. Другими словами, этот метод пытается разложить источник на независимые компоненты (на столько, насколько возможно создать алгоритм без потери какой-либо информации) без предварительных допущений применения способа, при помощи которого он был получен. Хотя эта задача достаточно сложна, она может быть точно решена с помощью метода ветвей и границ или точно ограничена сверху умножением матрицы на вектор.

Методы слепого разделения сигнала

Поиск наилучшей проекции

Смеси сигналов имеют тенденцию к получению гауссовой плотности вероятности, а сигналы источников имеют тенденцию к негауссовой плотности вероятности. Каждый источник сигнала может быть выделен из набора смесей сигналов путём вычисления скалярного произведения вектора весов и той смеси сигналов, на которой это скалярное произведение даёт ортогональную проекцию смеси сигналов. Следующая задача заключается в нахождении вектора весов. Один из методов — поиск наилучшей проекции.

Поиск наилучшей проекции ищет одну проекцию за шаг, при условии, что выделенный сигнал будет настолько негауссовым, насколько это возможно. Это контрастирует с АНК, который обычно выделяет M сигналов одновременно из M смесей сигналов, что требует оценки $M\times M$ несмешивающей матрицы. Одним из практических преимуществ поиска наилучшей проекции над АНК является то, что может выделяться менее M сигналов, если требуется, где каждый источник сигнала выделяется из смеси M сигналов используя M-элементный вектор весов.

Мы можем использовать коэффициент эксцесса для извлечения сигнала с несколькими источниками путём нахождения правильных векторов весов с использованием поиска наилучшей проекции.

Коэффициент эксцесса плотности вероятности сигнала, для конечной выборки вычисляется как

$K={\frac {\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{4}]}{(\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{2}])^{2}}}-3$

где $\mathbf {\overline {y}}$ является выборочным средним $\mathbf {y}$ выделенных сигналов. Константа 3 обеспечивает, чтобы гауссовы сигналы имели нулевой коэффициент эксцесса, супергауссовы сигналы имели положительный коэффициент эксцесса, а субгауссовы сигналы имели отрицательный коэффициент эксцесса. Знаменатель равен дисперсии $\mathbf {y}$ и он обеспечивает, чтобы измеренный коэффициент эксцесса получал дисперсию сигнала. Целью поиска наилучшей проекции является максимизация коэффициента эксцесса и сделать выделенный сигнал настолько ненормальным, насколько возможно.

Используя коэффициент эксцесса как меру ненормальности мы можем теперь проверить насколько коэффициент эксцесса сигнала $\mathbf {y} =\mathbf {w} ^{T}\mathbf {x}$, извлечённого из набора M смесей $\mathbf {x} =(x_{1},x_{2},\ldots ,x_{M})^{T}$, изменяется по мере того, как вектор весов $\mathbf {w}$ вращается вокруг начала координат. Если задано, что каждый источник сигнала $\mathbf {s}$ является супергауссовым, мы можем ожидать

1. коэффициент эксцесса извлечённого сигнала $\mathbf {y}$ максимален в точности тогда, когда $\mathbf {y} =\mathbf {s}$.
2. коэффициент эксцесса извлечённого сигнала $\mathbf {y}$ максимален, когда $\mathbf {w}$ ортогонален проекциям осей $S_{1}$ или $S_{2}$, поскольку мы знаем, что вектор оптимального веса должен быть ортогонален преобразованным осям $S_{1}$ и $S_{2}$.

Для смеси сигналов от разных источников мы можем использовать коэффициент эксцесса ортогонализации Грама ― Шмидта (ОГШ) для извлечения сигналов. Если дана смесь M сигналов в M-мерном пространстве, ОГШ проектирует эти точки данных в (M-1)-мерное пространство с помощью вектора весов. Мы можем гарантировать независимость выделенных сигналов с помощью ОГШ.

С целью поиска правильного значения $\mathbf {w}$ мы можем использовать метод градиентного спуска. Прежде всего, мы избавляемся от корреляции и преобразуем $\mathbf {x}$ в новую смесь $\mathbf {z}$, которая имеет единичную дисперсию и $\mathbf {z} =(z_{1},z_{2},\ldots ,z_{M})^{T}$. Этот процесс может быть выполнен путём применения сингулярного разложения к $\mathbf {x}$,

$\mathbf {x} =\mathbf {U} \mathbf {D} \mathbf {V} ^{T}$

Масштабируем каждый вектор $U_{i}=U_{i}/\operatorname {E} (U_{i}^{2})$ и положим $\mathbf {z} =\mathbf {U}$. Сигнал, выделенный взвешенным вектором $\mathbf {w}$, равен $\mathbf {y} =\mathbf {w} ^{T}\mathbf {z}$. Если вектор весов w имеет единичную длину, то есть $\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{2}]=1$, тогда коэффициент эксцесса можно переписать как:

$K={\frac {\operatorname {E} [\mathbf {y} ^{4}]}{(\operatorname {E} [\mathbf {y} ^{2}])^{2}}}-3=\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{4}]-3.$

Процесс обновления для $\mathbf {w}$:

$\mathbf {w} _{new}=\mathbf {w} _{old}-\eta \operatorname {E} [\mathbf {z} (\mathbf {w} _{old}^{T}\mathbf {z} )^{3}].$

где $\eta$ является малой константой для гарантирования, что $\mathbf {w}$ сходится к оптимальному решению. После каждого обновления мы нормализуем $\mathbf {w} _{new}={\frac {\mathbf {w} _{new}}{|\mathbf {w} _{new}|}}$ и множество $\mathbf {w} _{old}=\mathbf {w} _{new}$ и повторяем процесс обновления пока он не сойдётся. Мы можем использовать также другой алгоритм для обновления вектора весов $\mathbf {w}$.

Другим подходом является использование негэнтропии вместо коэффициента эксцесса. Негэнтропия является устойчивым методом по отношению коэффициента эксцесса, поскольку коэффициент эксцесса очень чувствителен к выбросам. Метод негэнтропии основывается на важном свойстве распределения Гаусса — нормальная случайная величина имеет наибольшую энтропию среди всех непрерывных случайных переменных с одинаковой дисперсией. Это также является причиной, почему мы хотим найти наиболее негауссовые переменные. Простое доказательство можно найти в статье дифференциальной энтропии.

$J(x)=S(y)-S(x)\,$

y являются гауссовой случайной переменной некоторой ковариантной матрицы,

$S(x)=-\int p_{x}(u)\log p_{x}(u)du$

Аппроксимация для негэнтропии равна

$J(x)={\frac {1}{12}}(E(x^{3}))^{2}+{\frac {1}{48}}(kurt(x))^{2}$

Доказательство можно найти на странице 131 книги «Анализ независимых компонент», которую написали Аапо Хювяринен, Юха Кархунен и Эркки Ойя. Эта аппроксимация также страдает теми же проблемами, что и коэффициент эксцесса (чувствительность к выбросам). Разрабатывались и другие подходы

$J(y)=k_{1}(E(G_{1}(y)))^{2}+k_{2}(E(G_{2}(y))-E(G_{2}(v))^{2}$

Выбор $G_{1}$ и $G_{2}$

$G_{1}={\frac {1}{a_{1}}}\log(\cosh(a_{1}u))$ и $G_{2}=-\exp(-{\frac {u^{2}}{2}})$

Основанный на infomax

АНК, по существу, является многомерной параллельной версией поиска наилучшей проекции. В то время как поиск наилучшей проекции выделяет серию сигналов по одному из смеси M сигналов, АНК выделяет M сигналов параллельно. Это приводит к большей устойчивости АНК по сравнению с поиском наилучшей проекции.

Метод поиска наилучшей проекции, чтобы обеспечить независимость выделяемых сигналов, использует ортогонализацию Грама ― Шмидта, в то время как АНК использует метод infomax и оценку максимального правдоподобия для обеспечения независимости выделяемого сигнала. Ненормальность выделяемого сигнала достигается с помощью соответствующей модели.

Процесс АНК, основанный на infomax, коротко: если дана смесь сигналов $\mathbf {x}$ и набор одинаковых независимых функций распределения $g$, мы ищем несмешивающую матрицу $\mathbf {W}$, которая максимизирует совместную энтропию сигналов $\mathbf {Y} =g(\mathbf {y} )$, где $\mathbf {y} =\mathbf {Wx}$ являются сигналами, отобранными по $\mathbf {W}$. Если дана оптимальная $\mathbf {W}$, сигналы $\mathbf {Y}$ имеют максимальную энтропию и, потому, независимы, что гарантирует, что выделенные сигналы $\mathbf {y} =g^{-1}(\mathbf {Y} )$ также независимы. Функция $g$ обратима и является моделью сигнала. Заметим, что если плотность вероятности модели источника сигнала $p_{s}$ соответствует плотности вероятности выделенного сигнала $p_{\mathbf {y} }$, то максимизация совместной энтропии $Y$ также максимизирует количество взаимной информации между $\mathbf {x}$ и $\mathbf {Y}$. По этой причине, использование энтропии для выделения независимых сигналов известно как infomax.

Рассмотрим энтропию векторной переменной $\mathbf {Y} =g(\mathbf {y} )$, где $\mathbf {y} =\mathbf {Wx}$ является набором сигналов, выделенных несмешивающей матрицей $\mathbf {W}$. Для конечного набора значений, выбранных из распределения с плотностью вероятности $p_{\mathbf {y} }$, энтропия $\mathbf {Y}$ может быть оценена как:

$H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {Y} }(\mathbf {Y} ^{t})$

Совместная плотность вероятности $p_{\mathbf {Y} }$, как можно показать, связана с совместной плотностью вероятности $p_{\mathbf {y} }$ извлечённых сигналов с помощью многомерной формы:

$p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}$

где $\mathbf {J} ={\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}$ является матрицей Якоби. Мы имеем $|\mathbf {J} |=g'(\mathbf {y} )$, и $g'$ является плотностью вероятности, принятых для источников сигналов $g'=p_{s}$, поэтому,

$p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}={\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}$

поэтому,

$H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}$

Мы знаем, что когда $p_{\mathbf {y} }=p_{s}$, $p_{\mathbf {Y} }$ является однородным распределением, а $H({\mathbf {Y} })$ максимизирована. Поскольку

$p_{\mathbf {y} }(\mathbf {y} )={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}|}}={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|\mathbf {W} |}}$

где $|\mathbf {W} |$ является абсолютным значением определителя несмешивающей матрицы $\mathbf {W}$. Поэтому,

$H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {x} }(\mathbf {x} ^{t})}{|\mathbf {W} |p_{\mathbf {s} }(\mathbf {y} ^{t})}}$

так что,

$H(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |+H(\mathbf {x} )$

поскольку $H(\mathbf {x} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {x} }(\mathbf {x} ^{t})$, и максимизация $\mathbf {W}$ не влияет на $H_{\mathbf {x} }$, мы можем максимизировать функцию

$h(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |$

чтобы получить независимость извлечённого сигнала.

Если имеется M маргинальных плотностей вероятности модели, совместные плотности вероятности $p_{\mathbf {s} }$ независимы и используют супергауссову модель плотности вероятности для источников сигналов $p_{\mathbf {s} }=(1-\tanh(\mathbf {s} )^{2})$, то мы получаем

$h(\mathbf {Y} )={\frac {1}{N}}\sum _{i=1}^{M}\sum _{t=1}^{N}\ln(1-\tanh(\mathbf {w_{i}^{T}x^{t}} )^{2})+\ln |\mathbf {W} |$

В сумме, если задана наблюдаемая смесь сигнала $\mathbf {x}$, соответствующий набор извлечённых сигналов $\mathbf {y}$ и модель источника сигнала $p_{\mathbf {s} }=g'$, мы можем найти оптимальную несмешивающую матрицу $\mathbf {W}$ и сделать извлечённые сигналы независимыми и негауссовыми. Подобно ситуации с поиском наилучшей проекции, мы можем использовать метод градиентного спуска для поиска оптимального решения несмешивающей матрицы.

На основе оценки максимального правдоподобия

Оценка максимального правдоподобия (англ. Maximum likelihood estimation, MLE) является стандартным статистическим средством для нахождения значений параметров (например, несмешивающей матрицы $\mathbf {W}$), которые обеспечивают лучшее соответствие некоторых данных (например, извлечённых сигналов $y$) для данной модели (например, совместной плотности вероятности (ПВ) $p_{s}$ источников сигналов).

Модель максимального правдоподобия включает спецификацию плотности вероятности, которая в этом случае является плотностью вероятности $p_{s}$ сигналов неизвестного источника $s$. При использовании максимального правдоподобия целью является нахождение несмешивающей матрицы, которая даёт извлечённые сигналы $y=\mathbf {W} x$ с совместной плотностью вероятности, которые максимально подобны совместной плотностью вероятности $p_{s}$ сигналов неизвестного источника $s$.

Оценка максимального правдоподобия основывается на предположении, что если модель плотности вероятности $p_{s}$ и модель параметров $\mathbf {A}$ правильны, то должна быть получена высокая вероятность для $x$, что эти данные действительно наблюдаемы. Обратно, если $\mathbf {A}$ далёк от верных значений параметров, то следует ожидать низкую вероятность наблюдения данных.

При оценке максимального правдоподобия мы называем вероятность наблюдаемых данных для данного набора значений параметров модели (например, плотности вероятности $p_{s}$ и матрицы $\mathbf {A}$) правдоподобностью значений параметров модели, заданной наблюдаемыми данными.

Мы определяем функцию правдоподобия $\mathbf {L(W)}$ матрицы $\mathbf {W}$:

$\mathbf {L(W)} =p_{s}(\mathbf {W} x)|\det \mathbf {W} |.$

Это равно плотности вероятности в $x$, поскольку $s=\mathbf {W} x$.

Тогда, если мы хотим найти $\mathbf {W}$, то наиболее вероятно иметь сгенерированные наблюдаемые смеси $x$ из неизвестных источников сигналов $s$ с плотностью вероятности $p_{s}$, то нам нужно лишь найти $\mathbf {W}$, которая максимизирует правдоподобность $\mathbf {L(W)}$. Несмешивающая матрица, которая максимизирует равенство, известна как оценка максимального правдоподобия оптимальной несмешивающей матрицей.

Распространённой практикой является использование логарифма правдоподобия, поскольку его проще всего вычислить. Так как логарифм является монотонной функцией, матрица $\mathbf {W}$, которая максимизирует функция $\mathbf {L(W)}$, также максимизирует его логарифм $\ln \mathbf {L(W)}$. Это позволяет взять логарифм в равенстве выше, что даёт логарифм функции правдоподобия

$\ln \mathbf {L(W)} =\sum _{i}\sum _{t}\ln p_{s}(w_{i}^{T}x_{t})+N\ln |\det \mathbf {W} |$

Если мы подставим широко используемую модель плотности вероятности с высоким коэффициентом эксцесса для источников сигналов $p_{s}=(1-\tanh(s)^{2})$, мы получим

$\ln \mathbf {L(W)} ={1 \over N}\sum _{i}^{M}\sum _{t}^{N}\ln(1-\tanh(w_{i}^{T}x_{t})^{2})+\ln |\det \mathbf {W} |$

Матрица $\mathbf {W}$, максимизирующая эту функцию, является оценкой максимального правдоподобия.

История и предпосылки

Раннюю общую основу для анализа независимых компонент предложили Дженни Эро и Бернард Анс в 1984 году, затем к ним присоединился Христиан Джуттен с 1985 года. Наиболее ясно этот метод изложил Пьер Комон в 1994 году. В 1995 году Тони Белл и Терри Седжновски предложили быстрый и эффективный алгоритм АНК, основанный на принципе infomax, который ввёл Ральф Линскер в 1987 г.

Многие алгоритмы, реализующие АНК, доступны и описаны в литературе, относящейся к данной области. Алгоритм FastICA, который разработали Аапо Хювяринен и Эркки Ойя, широко используется, включая производственные приложения. В нём применен коэффициент эксцесса в качестве функции цены. Другие примеры скорее связаны со слепым разделением сигнала, в основе которого лежит более общий подход. Например, можно опустить допущение независимости и разделить попарно коррелирующие сигналы, а следовательно, избежать статистически «зависимых» сигналов. Сепп Хохрайтер и Юрген Шмидхубер показали, как получить нелинейный АНК или осуществить разделение источников, если они являются побочным продуктом регуляризации (1999). Их метод не требует бесспорного и строгого знания о числе независимых источников.

Приложения

АНК может быть расширен на анализ нефизических сигналов. Например, АНК был применён для обнаружения тем обсуждения в архивах новостей.

Некоторые из приложений АНК перечислены ниже:

Анализ независимых компонент в EEGLAB

• оптическое изображение нейронов
• сортировка импульсов нейронов sorting
• распознавание лица
• моделирование рецепторного поля главных зрительных нейронов
• предсказание цен на рынке бумаг
• мобильная телефонная связь
• определение зрелости помидор на основе цвета
• удаление объектов, таких как мигание глаза, из данных электроэнцефалограммы
• анализ изменений в экспрессии гена со временем в экспериментах по секвенированию РНК в отдельной клетке cell
• изучение функциональной МРТ мозга в состоянии покоя

См. также

• Слепая деконволюция
• Факторный анализ
• Спектр Гилберта
• Обработка цифрового изображения
• Мультилинейный анализ главных компонент
• Полилинейное обучение подпространств
• Неотрицательное матричное разложение
• Нелинейное снижение размерности
• Поиск наилучшей проекции
• Вращение по методу Varimax

Ссылки

• Что есть анализ независимых компонент? (Аапо Хювяринен)
• Обучающий курс: Анализ независимых компонент (Аапо Хювяринен)
• Обучающий курс: Анализ независимых компонент
• FastICA как пакет для Matlab, на языках R и C++
• Инструментальные средства ICALAB для Matlab, разработанный в RIKEN
• Инструментальные средства высокоэффективного анализа сигналов даёт реализацию на языке C++ методов FastICA и Infomax
• Инструментальные средства ICA — Инструментальные средства Matlab для ICA с Bell-Sejnowski, Molgedey-Schuster и mean field ICA. Разработано в DTU.
• Демонстрация задачи о шумной вечеринке Архивная копия от 13 марта 2010 на Wayback Machine
• Инструментальное средство EEGLAB ICA для электроэнцефалограмм для Matlab, разработанное в UCSD.
• Инструментальные средства FMRLAB ICA функциональной магнитно-резонансной томографии для Matlab, разработанное в UCSD
• MELODIC, часть библиотеки FMRIB.
• Обсуждение ICA, используемой в контексте биометрических представлений объектов
• Алгоритмы FastICA, CuBICA, JADE и TDSEP для языка Python
• Инструментальные средства Group ICA и Fusion ICA
• Обучающий курс: Использование ICA для очищения сигналов энцефалограммы