21 апреля 2019г.
Метод главных компонент был изобретён Карлом Пирсоном в 1901 году. Как метод уменьшения размерности и выделения признаков, метод главных компонент имеет множество применений в статистическом обучении, таких как классификация рукописных почтовых индексов, распознавание человеческих лиц и другие. Без преувеличения можно считать метод главных компонент одним из наиболее широко используемых и наиболее важных многомерных статистических методов. [1]
Решением будут являться первые k-главных компонент.
На практике переменные могут иметь разные шкалы и единицы измерения. Часто стандартизируют каждую переменную таким образом, чтобы ее предельная дисперсия выборки была едина. Когда эта практика применяется к методу главных компонент, результирующая ковариационная матрица стандартизированных переменных является примером корреляционной матрицей необработанных переменных. Собственные значения и собственные вектора корреляционной матрицы могут отличаться от собственных значений и собственных векторов ковариационной матрицы.
Применительно к нейронным сетям метод главных компонент рассматривается как алгоритм обучения без учителя.
Алгоритм обучения без учителя –
алгоритм, которому на вход подаются только признаки без подсказки со стороны учителя. То есть обучением без учителя можно назвать извлечение информации из распределения, выборка из которого не была аннотирована человеком. Данный термина обычно связан
с оцениванием плотности, выборкой примеров из распределения, очисткой выбранных данных от шума, кластеризацией данных. Классической задачей обучения без учителя является поиск наилучшего представления данных, где под наилучшим понимается такое представление, которое сохраняет как можно больше информации о входном наборе данных, при этом соблюдается ограничения, что представление должно быть проще и понятнее, чем сам входной набор.
Простое представление определяется тремя основными способами: представление меньшей размерности, разреженное представление и независимое представление. В первом случае входной набор данных сжимается в представление меньшего размера. Разреженным представлением называется преобразование набора данных в представление, в котором большинству входов соответствуют нули (размерность представления увеличивается так,
чтобы
наличие
нулей не привело к отбрасыванию
большого объема информации). В результате у полученного представления данные распределены в основном вдоль осей. Независимые представления представляют собой попытку разделить источники вариативности в исходном распределении данных так, чтобы измерения представления оказались статистически независимыми. [2]
Метод главных компонент, как алгоритм обучения без учителя, выполняет поиск представления, основанного на двух из трех описанных критериях простого представления. Полученное представление имеет меньшую размерность, чем исходное, кроме этого, между его элементами нет линейной корреляции, что является первым шагом к нахождению представления со статистически независимыми элементами (для полного избавления от зависимостей алгоритм обучения должен удалить нелинейные связи между переменными). [2]
Метод главных компонент выполняет поиск ортогонального линейного преобразования, которое переводит входные данные
в представление, и является простым
и эффективным методом
понижения размерности, сохраняющим столько информации, сколько возможно.
После проецирования
данных
x на z с помощью линейного преобразования
W полученное
представление имеет диагональную ковариационную матрицу, следовательно, взаимная корреляция отдельных элементов z равна нулю. Преобразование данных в представление с взаимно не коррелированными элементами является важным свойством метода главных компонент. С помощью него получается
простой пример представления, которое пытается разделить неизвестные факторы вариативности данных. В данном случае разделение сводится к нахождению такого вращению пространства входных данных (описываемого матрицей W), которое делает главные оси дисперсии базисом нового пространства представления z.
Список литературы
1.
Hui Zou, Lingzhou Xue. A Selective Overview of Sparse Principal Component Analysis.
Proceedings of the IEEE, pages 1311-1320, 2018/
2. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение – 2-е изд., испр. – М.: ДМК Пресс, 2018. – 652с.
