Обобщённое сингулярное разложение
В линейной алгебре обобщенное сингулярное разложение (ОСР) или обобщенное разложение по сингулярным значениям (GSVD - generalized singular value decomposition) — это разбиение прямоугольной матрицы с учетом ограничений, накладываемых на строки и столбцы матрицы. ОСР дает взвешенную обобщенную оценку наименьших квадратов данной матрицы с помощью матрицы более низкого ранга и, следовательно, при адекватном выборе ограничений ОСР реализует все линейные многомерные методы (например, каноническую корреляцию, линейный дискриминантный анализ, анализ соответствия, частичную регрессию наименьших квадратов (PLS-regression)).
Определение
Для данной матрицы M размером m×n, обобщающей разложение по сингулярным числам, подразумевается использование двух положительно определенных квадратных матриц U и V с размерами i×i и j×j соответственно. Эти две матрицы выражают ограничения (Wu и Wv), накладываемые соответственно на строки и столбцы матрицы M. Кроме того, Wu и Wv являются положительно определенными матрицами (часто, диагональными весовыми матрицами). Формально, если U – это матрица размером i×i, выражающая ограничения для строк M, то V – это матрица размером j×j, выражающая ограничения для столбцов M. Матрица M теперь разлагается на:
M = UΣV*,
где U*WuU = V*WvV = I,
где I – единичная матрица .
Другими словами, обобщенные сингулярные векторы ортогональны при ограничениях, наложенных U и V. Это разложение получается в результате стандартного СР.
Эта форма ОСР является основой определенных методов, таких как обобщенный МГК и анализ соответствий.
Взвешенный метод ОСР так называется, потому адекватный выбор матриц U и V делает ОСР очень универсальным инструментом, который может реализовать множество методов линейного многомерного анализа. Например, анализ соответствия может быть реализован с использованием матрицы вероятностей (т. е. состоящей из положительных и нулевых чисел, сумма которых равна 1) вместе с двумя диагональными матрицами Wu и Wv, представляющими соответственно относительные частоты из строк и столбцов матрицы данных. Другие многовариантные методы (например, дискриминантный анализ, канонический корреляционный анализ) могут быть реализованы с правильным выбором матриц Wu и Wv.
Приложения
ОСР успешно применяется для обработки сигналов и больших объемов данных, например, для обработки геномных сигналов.
Источник: Википедия
Связанные понятия
Метод главных компонент (англ. principal component analysis, PCA) — один из основных способов уменьшить размерность данных, потеряв наименьшее количество информации. Изобретён Карлом Пирсоном в 1901 году. Применяется во многих областях, в том числе, в эконометрике, биоинформатике, обработке изображений, для сжатия данных, в общественных науках.
Умноже́ние ма́триц — одна из основных операций над матрицами. Матрица, получаемая в результате операции умножения, называется произведе́нием ма́триц.
В прикладной статистике метод наименьших полных квадратов (МНПК, TLS — англ. Total Least Squares) — это вид регрессии с ошибками в переменных, техника моделирования данных с помощью метода наименьших квадратов, в которой принимаются во внимание ошибки как в зависимых, так и в независимых переменных. Метод является обобщением регрессии Деминга и ортогональной регрессии и может быть применён как к линейным, так и нелинейным моделям.
Неотрицательное матричное разложение (НМР), а также неотрицательное приближение матрицы, это группа алгоритмов в мультивариантном анализе и линейной алгебре, в которых матрица V разлагается на (обычно) две матрицы W и H, со свойством, что все три матрицы имеют неотрицательные элементы. Эта неотрицательность делает получившиеся матрицы более простыми для исследования. В приложениях, таких как обработка спектрограмм аудиосигнала или данных мускульной активности, неотрицательность свойственна рассматриваемым...
В вычислительной математике одной из наиболее важных задач является создание эффективных и устойчивых алгоритмов нахождения собственных значений матрицы. Эти алгоритмы вычисления собственных значений могут также находить собственные векторы.
Подробнее: Алгоритм вычисления собственных значений
Техники спектральной кластеризации используют спектр (собственные значения) матрицы сходства данных для осуществления понижения размерности перед кластеризацией в пространствах меньших размерностей. Матрица сходства подаётся в качестве входа и состоит из количественных оценок относительной схожести каждой пары точек в данных.
Подробнее: Спектральная кластеризация
Вычислительные (численные) методы — методы решения математических задач в численном видеПредставление как исходных данных в задаче, так и её решения — в виде числа или набора чисел.
Матрица мер конвергенции — матрица содержащая в качестве элементов меры сходства объектов. Матрица отражает попарное сходство объектов. Сходство является показателем, измеренном в порядковой шкале и, следовательно, возможно лишь определение отношений вида: «больше», «меньше» или «равно».
Метод наименьших квадратов (МНК) — математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов отклонений некоторых функций от искомых переменных. Он может использоваться для «решения» переопределенных систем уравнений (когда количество уравнений превышает количество неизвестных), для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений, для аппроксимации точечных значений некоторой функции. МНК является одним из базовых методов...
Сглаживающий сплайн (англ. smoothing spline) это метод сглаживания (аппроксимации кривой набора зашумлённых исходных данных) с использованием сплайн-функций.
Квазиньютоновские методы — методы оптимизации, основанные на накоплении информации о кривизне целевой функции по наблюдениям за изменением градиента, чем принципиально отличаются от ньютоновских методов. Класс квазиньютоновских методов исключает явное формирование матрицы Гессе, заменяя её некоторым приближением.
В статистике, машинном обучении и теории информации снижение размерности — это преобразование данных, состоящее в уменьшении числа переменных путём получения главных переменных. Преобразование может быть разделено на отбор признаков и выделение признаков.
Подробнее: Снижение размерности
Обобщённый ме́тод моме́нтов (ОММ; англ. GMM — Generalized Method of Moments) — метод, применяемый в математической статистике и эконометрике для оценки неизвестных параметров распределений и эконометрических моделей, являющийся обобщением классического метода моментов. Метод был предложен Хансеном в 1982 году. В отличие от классического метода моментов количество ограничений может быть больше количества оцениваемых параметров.
Псевдопреобразова́ние Адама́ра (англ. Pseudo-Hadamard Transform, PHT) — обратимое преобразование битовых строк, используемое в криптографии для обеспечения диффузии при шифровании. Количество бит на входе преобразования должно быть чётным, чтобы было возможным разделение строки на две части равной длины. Создателем преобразования является французский математик Жак Адамар.
Не путать с «симплекс-методом» — методом оптимизации произвольной функции. См. Метод Нелдера — МидаСимплекс-метод — алгоритм решения оптимизационной задачи линейного программирования путём перебора вершин выпуклого многогранника в многомерном пространстве.
Подробнее: Симплекс-метод
К вейвлет-функциям с компактным носителем относятся вейвлеты Добеши, койфлеты и симмлеты. Метод построения вейвлет-функций с компактным носителем принадлежит Ингрид Добеши. Койфлеты являются частным случаем вейвлетов Добеши с нулевыми моментами скейлинг-функции.
Подробнее: Вейвлет Койфлет
Латентно-семантический анализ (ЛСА) (англ. Latent semantic analysis, LSA) — это метод обработки информации на естественном языке, анализирующий взаимосвязь между библиотекой документов и терминами, в них встречающимися, и выявляющий характерные факторы (тематики), присущие всем документам и терминам.
Циклический избыточный код (англ. Cyclic redundancy check, CRC) — алгоритм нахождения контрольной суммы, предназначенный для проверки целостности данных. CRC является практическим приложением помехоустойчивого кодирования, основанным на определённых математических свойствах циклического кода.
Вне́шне несвя́занные уравне́ния (англ. Seemingly Unrelated Regressions (SUR)) — система эконометрических уравнений, каждое из которых является самостоятельным уравнением со своей зависимой и объясняющими экзогенными переменными. Модель предложена Зельнером в 1968 году. Важной особенностью данных уравнений является то, что несмотря на кажущуюся несвязанность уравнений их случайные ошибки предполагаются коррелированными между собой.
Позиционная весовая матрица (ПВМ) — биоинформатический метод, который применяется для поиска мотивов в биологических последовательностях.
Лине́йная а́лгебра — раздел алгебры, изучающий объекты линейной природы: векторные (или линейные) пространства, линейные отображения, системы линейных уравнений, среди основных инструментов, используемых в линейной алгебре — определители, матрицы, сопряжение. Теория инвариантов и тензорное исчисление обычно (в целом или частично) также считаются составными частями линейной алгебры. Такие объекты как квадратичные и билинейные формы, тензоры и операции как тензорное произведение непосредственно вытекают...
Вейвлет Хаа́ра — один из первых и наиболее простых вейвлетов. Он основан на ортогональной системе функций, предложенной венгерским математиком Альфредом Хааром в 1909 году. Вейвлеты Хаара ортогональны, обладают компактным носителем, хорошо локализованы в пространстве, но не являются гладкими. Впоследствии Ингрид Добеши стала развивать теорию ортогональных вейвлетов и предложила использовать функции, вычисляемые итерационным путём, названные вейвлетами Добеши.
В линейной алгебре положи́тельно определённая ма́трица — это эрмитова матрица, которая во многом аналогична положительному вещественному числу. Это понятие тесно связано с положительно определённой симметрической билинейной формой (или полуторалинейной формой в случае с комплексными числами).
Кратномасштабный анализ (КМА) является инструментом построения базисов вейвлетов. Он был разработан в 1988/89 гг. Малла и И. Мейром. Идея кратномасштабного анализа заключается в том, что разложение сигнала производится по ортогональному базису, образованному сдвигами и кратномасштабными копиями вейвлетной функции. Свертка сигнала с вейвлетами позволяет выделить характерные особенности сигнала в области локализации этих вейвлетов.
Полуопределённое программирование (en: Semidefinite programming, SDP) — это подраздел выпуклого программирования, которое занимается оптимизацией линейной целевой функции (целевая функция — это заданная пользователем функция, значение которой пользователь хочет минимизировать или максимизировать) на пересечении конусов положительно полуопределённых матриц с аффинным пространством.
Ядерные методы в машинном обучении — это класс алгоритмов распознавания образов, наиболее известным представителем которого является метод опорных векторов (МОВ, англ. SVM). Общая задача распознавания образов — найти и изучить общие типы связей (например, кластеров, ранжирования, главных компонент, корреляций, классификаций) в наборах данных. Для многих алгоритмов, решающих эти задачи, данные, представленные в сыром виде, явным образом преобразуются в представление в виде вектора признаков посредством...
Подробнее: Ядерный метод
Лине́йная комбина́ция — выражение, построенное на множестве элементов путём умножения каждого элемента на коэффициенты с последующим сложением результатов (например, линейной комбинацией x и y будет выражение вида ax + by, где a и b — коэффициенты).
О дискретном эквиваленте преобразования Лапласа см. Z-преобразование.В математике дискретный оператор Лапласа — аналог непрерывного оператора Лапласа, определяемого как отношения на графе или дискретной сетке. В случае конечномерного графа (имеющего конечное число вершин и рёбер) дискретный оператор Лапласа имеет более общее название: матрица Лапласа.
Подробнее: Дискретный оператор Лапласа
Факторизация целых чисел для больших чисел является задачей большой сложности. Не существует никакого известного способа, чтобы решить эту задачу быстро. Её сложность лежит в основе некоторых алгоритмов шифрования с открытым ключом, таких как RSA.
Матрица жёсткости (матрица Дирихле) — матрица особого вида, использующаяся в методе конечных элементов для решения дифференциальных уравнений в частных производных. Она применяется при решениях задач электродинамики и механики.
Множество больших тригонометрических сумм — понятие теории чисел — множество индексов, в которых преобразование Фурье характеристической функции заданного подмножества группы принимает достаточно большие значения.
Предобуславливание (также предобусловливание) — процесс преобразования условий задачи для её более корректного численного решения. Предобуславливание обычно связано с уменьшением числа обусловленности задачи. Предобуславливаемая задача обычно затем решается итерационным методом.
В математике квадра́тная ма́трица — это матрица, у которой число строк совпадает с числом столбцов, и это число называется порядком матрицы. Любые две квадратные матрицы одинакового порядка можно складывать и умножать.
В квантовой механике, преобразование Вигнера — Вейля (названо в честь Германа Вейля и Юджина Вигнера) — обратимое отображение функций в представлении фазового пространства на операторы гильбертова пространства в представлении Шредингера.
Алгоритм Гаусса — Ньютона используется для решения задач нелинейным методом наименьших квадратов. Алгоритм является модификацией метода Ньютона для нахождения минимума функции. В отличие от метода Ньютона, алгоритм Гаусса — Ньютона может быть использован только для минимизации суммы квадратов, но его преимущество в том, что метод не требует вычисления вторых производных, что может оказаться существенной трудностью.
Обобщённая фу́нкция или распределе́ние — математическое понятие, обобщающее классическое понятие функции.
Основная теорема о рекуррентных соотношениях (англ. Master theorem) используется в анализе алгоритмов для получения асимптотической оценки рекурсивных соотношений (рекуррентных уравнений), часто возникающих при анализе алгоритмов типа «разделяй и властвуй» (divide and conquer), например, при оценке времени их выполнения. Теорема была популяризована в книге Алгоритмы: построение и анализ (Томас Кормен, Чарльз Лейзерстон, Рональд Ривест, Клиффорд Штайн), в которой она была введена и доказана.
Кэлеровы дифференциалы представляют собой адаптацию дифференциальных форм для произвольных коммутативных колец или схем. Это понятие было введено Эрихом Кэлером в 1930-х.
Подробнее: Кэлеров дифференциал
Лине́йность по пара́метрам — свойство экономических моделей, позволяющее рассматривать их с эконометрической точки зрения (с точки зрения оценки параметров) как линейные модели.
Анализ независимых компонент (АНК, англ. Independent Component Analysis, ICA), называемый также Метод независимых компонент (МНК) — это вычислительный метод в обработке сигналов для разделения многомерного сигнала на аддитивные подкомпоненты. Этот метод применяется при предположении, что подкомпоненты являются негауссовыми сигналами и что они статистически независимы друг от друга. АНК является специальным случаем слепого разделения сигнала. Типичным примером приложения является «Задача о шумной...
Алгоритм Бройдена — Флетчера — Гольдфарба — Шанно (BFGS) (англ. Broyden — Fletcher — Goldfarb — Shanno algorithm) — итерационный метод численной оптимизации, предназначенный для нахождения локального максимума/минимума нелинейного функционала без ограничений.
Ве́ктор (от лат. vector, «несущий») — в простейшем случае математический объект, характеризующийся величиной и направлением. Например, в геометрии и в естественных науках вектор есть направленный отрезок прямой в евклидовом пространстве (или на плоскости).
В математике термин
матрица Картана имеет три значения. Все они названы по имени французского математика Эли Картана. Фактически, матрицы Картана в контексте алгебр Ли впервые исследовал Вильгельм Киллинг, в то время как форма Киллинга принадлежит Картану.
Бра и кет (англ. bra-ket < bracket скобка) — алгебраический формализм (система обозначений), предназначенный для описания квантовых состояний. Называется также обозначениями Дирака. В матричной механике данная система обозначений является общепринятой.
Метод опорных векторов (англ. SVM, support vector machine) — набор схожих алгоритмов обучения с учителем, использующихся для задач классификации и регрессионного анализа. Принадлежит семейству линейных классификаторов и может также рассматриваться как специальный случай регуляризации по Тихонову. Особым свойством метода опорных векторов является непрерывное уменьшение эмпирической ошибки классификации и увеличение зазора, поэтому метод также известен как метод классификатора с максимальным зазором...
Метод золотого сечения — метод поиска экстремума действительной функции одной переменной на заданном отрезке. В основе метода лежит принцип деления отрезка в пропорциях золотого сечения. Является одним из простейших вычислительных методов решения задач оптимизации. Впервые представлен Джеком Кифером в 1953 году.
Циклический код — линейный, блочный код, обладающий свойством цикличности, то есть каждая циклическая перестановка кодового слова также является кодовым словом. Используется для преобразования информации для защиты её от ошибок (см. Обнаружение и исправление ошибок).
Вероятностно приблизительно корректное обучение (ВПК обучение, англ. Probably Approximately Correct learning, (PAC learning) в теории вычислительного обучения — это схема математического анализа машинного обучения. Схему предложил в 1984 Лесли Вэлиант.