Метод релевантных векторов

Метод релевантных векторов (МРВ, англ. Relevance Vector Machine, RVM) — это техника машинного обучения, которая использует байесовский вывод для получения решений на принципе экономности для регрессии и вероятностной классификации. МРВ имеет тот же функциональный вид, что и метод опорных векторов, но обеспечивает вероятностную классификацию.

Описание

Метод, фактически, эквивалентен модели гауссовского процесса с функцией ковариации:

$k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})$,

где $\varphi$ является ядерной функцией (обычно, гауссианом), $\alpha _{j}$ являются априорными дисперсиями вектора весов $w\sim N(0,\alpha ^{-1}I)$, а $\mathbf {x} _{1},\ldots ,\mathbf {x} _{N}$ являются входными векторами тренировочного набора.

По сравнению с методами опорных векторов байесовская формулировка МРВ позволяет избежать необходимости использования свободных параметров (что, обычно, требует постоптимизации на основе перекрёстных проверок). Однако МРВ использует метод обучения, подобный EM-алгоритму, а потому существует риск скатывания в локальный минимум. Это отличает его от стандартных алгоритмов на основе последовательной минимальной оптимизации, используемой методами опорных векторов и гарантирующей нахождение глобального оптимума (на выпуклой задаче).

Метод релевантных векторов запатентован в США компанией Microsoft.

См. также

• Ядерный метод
• Масштабирование Платта: превращает SVM в вероятностную модель

Программное обеспечение

• dlib Библиотека на языке C++
• Библиотека ядерных машин
• rvmbinary: пакет на языке R для двоичной классификации
• scikit-rvm
• fast-scikit-rvm, Обучающий курс по методу релевантных векторов

Ссылки

• WEB-страничка Типпинга о Разреженных байесовских моделях и Методе релевантных векторов
• Обучающий курс по методу релевантных векторов Тристана Флетчера
• Обучающий курс по методу релевантных векторов
• Сравнение метода релевантных векторов и метода опорных векторов