Сингулярное разложение матрицы: формула и пример

Сингулярное разложение матрицы, или SVD, представляет линейное преобразование как смену ортонормированных направлений, растяжение вдоль них и ещё одну смену направлений. Оно существует для любой вещественной матрицы, в том числе прямоугольной и вырожденной. С его помощью находят ранг, строят приближения и решают задачи наименьших квадратов. В калькуляторе меняется один элемент симметричной матрицы: сравните её сингулярные числа и посмотрите, когда одно из направлений исчезает.
Что означает формула SVD
Для вещественной матрицы размера полное разложение записывают так:
Матрица имеет размер , матрица - размер ; обе ортогональны, то есть и . Прямоугольная матрица размера заполнена нулями вне главной диагонали. На диагонали находятся неотрицательные сингулярные числа, обычно в порядке .
Читать произведение при действии на столбец нужно справа налево. Сначала выражает входной вектор в специальном ортонормированном базисе, затем масштабирует координаты, а переносит результат в выходной базис. Ортогональное преобразование может включать отражение, поэтому говорить только о поворотах не всегда точно.
Столбцы матрицы называют правыми сингулярными векторами, столбцы матрицы - левыми. Для соответствующих пар выполняется . Тем самым показывает длину образа единичного вектора . Определение и размеры множителей приведены также в руководстве LAPACK.
Для прямоугольной матрицы число входных и выходных координат различается. Полная запись всё равно содержит целые ортогональные базисы обоих пространств, а лишние позиции прямоугольной диагонали заполнены нулями. В сокращённой записи часто сохраняют только столбцы, соответствующие ненулевым сингулярным числам. Она компактнее, но важно заранее оговорить размеры множителей: разные учебники называют сокращённой и другую форму, содержащую все диагональные позиции.
Векторы и числа имеют разные роли. Отдельное число говорит, насколько меняется длина в особом направлении, но без векторов не показывает, где это направление находится. Например, две матрицы могут иметь одинаковые сингулярные числа и по-разному ориентировать свои эллипсы. Поэтому набор чисел не восстанавливает матрицу: для восстановления нужны также согласованные левые и правые векторы.
Окружность превращается в эллипс
Если действует на плоскости, образы всех единичных векторов обычно образуют эллипс. Правые сингулярные векторы задают два перпендикулярных направления на исходной окружности, а левые - направления полуосей эллипса. Длины полуосей равны соответствующим сингулярным числам. Если одно число равно нулю, эллипс вырождается в отрезок; если оба равны нулю, остаётся одна точка.
Для примера ниже единичная окружность постепенно преобразуется матрицей . Золотая стрелка следует за одним и тем же входным направлением: её конечная длина равна 3. Промежуточные изображения получены матрицами , где меняется от нуля до единицы и обратно.
В пространствах большей размерности та же идея работает со сферой и эллипсоидом. При разных размерах входного и выходного пространств привычную картинку нарисовать сложнее, но равенство остаётся точным.
Как найти сингулярное разложение
Для ручного расчёта удобно начать с симметричной матрицы . Она неотрицательно определена, поскольку . Поэтому её собственные значения неотрицательны, а ортонормированные собственные векторы можно выбрать в качестве столбцов .
Порядок вычисления такой:
- Найдите и его собственные значения .
- Положите и расположите числа по убыванию вместе с соответствующими векторами .
- Для каждого положительного вычислите .
- При необходимости дополните найденные векторы до ортонормированных базисов и соберите , , .
- Проверьте размеры и произведение .
Делить на нулевое сингулярное число нельзя. Недостающие левые векторы выбирают в ядре , дополняя уже найденные до ортонормированного базиса. Правые векторы, отвечающие нулевым числам, лежат в ядре . При кратных сингулярных числах базис соответствующего подпространства можно выбирать разными способами; согласованная смена знаков пары тоже не меняет произведения.
Пример для матрицы два на два
Пусть
Собственные значения второй матрицы равны и . Соответствующие единичные собственные векторы можно взять так:
Следовательно, , . В этом примере и , поэтому можно выбрать , . Получаем
Умножение этих трёх множителей действительно возвращает исходную матрицу. Совпадение и здесь связано с её симметричностью и положительными собственными значениями; для произвольной матрицы оно не гарантировано.

В калькуляторе этот пример соответствует . При оба сингулярных числа равны 2, а при они равны 4 и 0. На всём выбранном диапазоне значения равны и : здесь собственные значения самой матрицы неотрицательны и совпадают с сингулярными числами.
Ранг и приближение малого ранга
Ранг матрицы равен числу её строго положительных сингулярных чисел. В точной арифметике пример при имеет ранг 2, а при - ранг 1. В вычислениях с округлением вместо строгого сравнения с нулём применяют порог, учитывая масштаб матрицы и точность данных: очень малое число может отражать шум.
SVD раскладывает матрицу в сумму матриц ранга один:
Если оставить первые слагаемых, получится . Это лучшее приближение ранга не выше и в спектральной норме, и в норме Фробениуса. При ошибки равны соответственно и . Это утверждение известно как теорема Эккарта - Янга; формулировку для операторной нормы можно найти в конспекте MIT.
Для нашего примера первое слагаемое даёт . Ошибка в обеих указанных нормах равна 1, поскольку отброшено только число . Доля суммы квадратов, оставленная первым слагаемым, равна . Это доля квадрата нормы Фробениуса, а не универсальная мера качества для любой прикладной задачи.
При выборе числа слагаемых полезно проверить не только общую ошибку, но и то, что именно теряется. В данных слабая компонента может содержать существенный для исследования сигнал, даже если её вклад в сумму квадратов невелик. Обратно, большая компонента может отражать систематический шум или масштаб одного признака. Оптимальность теоремы относится к заданной матричной норме и ограничению на ранг, а не ко всем возможным критериям качества.
Для иллюстрации можно сравнить крайние случаи калькулятора. В начале обе полуоси одинаковы, и удаление любого одного из двух одинаково сильных направлений заметно меняет результат. На другом конце одна полуось равна нулю: исходная матрица уже имеет ранг один и точно представляется одним ненулевым слагаемым. Между этими крайностями ошибка приближения постепенно уменьшается вместе со второй полуосью.
Где применяют SVD
При сжатии изображения матрицу значений пикселей заменяют суммой нескольких компонент ранга один. Выбор меняет и объём данных, и ошибку: хранить нужно векторы с коэффициентами, а не только сами числа . Для цветного изображения отдельно учитывают каналы и стоимость их хранения.
В методе главных компонент SVD центрированной матрицы данных позволяет найти направления разброса. Данные предварительно центрируют, а необходимость стандартизации признаков зависит от задачи. Связанный показатель устойчивости - число обусловленности матрицы: для обратимой квадратной матрицы в спектральной норме оно равно .
SVD также задаёт псевдообратную матрицу: положительные сингулярные числа заменяют обратными, а нулевые оставляют нулевыми. Её используют для решения наименьших квадратов минимальной нормы. Малые числа при обращении усиливают ошибки данных, поэтому на практике может потребоваться порог или регуляризация. В отличие от LU-разложения, SVD непосредственно показывает масштабы действия по ортогональным направлениям и применима к прямоугольным матрицам.
Частые ошибки
- Путают собственные и сингулярные числа. Сингулярные числа неотрицательны; у произвольной квадратной матрицы её собственные значения могут быть отрицательными или комплексными.
- Меняют порядок множителей. В они действуют на вектор справа налево; размеры не позволяют переставлять их произвольно.
- Делят на ноль. Формула применима только при .
- Считают векторы единственными. Знаки пар можно менять согласованно, а при кратных числах допустимы разные ортонормированные базисы.
- Забывают об округлении. Численный ранг зависит от выбранного порога, особенно при шумных данных.
FAQ
Существует ли SVD у прямоугольной матрицы?
Да. Для матрицы тоже имеет размер , а число её диагональных позиций равно . Возможна и сокращённая форма, в которой хранят только нужные столбцы.
Чем сингулярное число отличается от собственного значения?
Сингулярное число - корень из собственного значения и описывает масштаб вдоль специального входного направления. Собственное значение квадратной матрицы связывает вектор и его образ без смены направления; эти понятия в общем случае различаются.
Нужно ли в программе явно вычислять ?
Для учебного примера это удобно, но для численной работы обычно вызывают готовую процедуру SVD. При подготовке матрицы к вычислению используют ортогональные преобразования, в том числе отражения Хаусхолдера. Явное построение может ухудшить относительную точность малых сингулярных чисел: отношение крайних чисел при этом возводится в квадрат.
Коротко
Сингулярное разложение существует для любой вещественной матрицы. Оно выделяет ортонормированные входные и выходные направления и связывает их неотрицательными масштабами . Эти числа показывают ранг, помогают оценивать устойчивость и позволяют контролировать ошибку приближения малого ранга.
Читайте также

Диагональное преобладание матрицы: проверка и примеры
Диагональное преобладание матрицы по строкам и столбцам: строгий и нестрогий случаи, проверка на примере, невырожденность и связь со сходимостью итераций.

Обратная матрица методом Гаусса-Жордана: пример
Как найти обратную матрицу методом Гаусса-Жордана: составляем расширенную матрицу, выполняем операции со строками и проверяем ответ умножением на исходную матрицу.

Ранг матрицы методом окаймляющих миноров
Как найти ранг матрицы методом окаймляющих миноров: пошаговый алгоритм, подробный пример вычислений, проверка всех окаймлений и разбор случая с параметром.

Умножение матриц: правило строка на столбец
Как умножать матрицы по правилу строка на столбец: проверка размеров, формула элемента, подробный пример вычисления, порядок множителей и типичные ошибки.

Свойства определителя: правила и геометрический смысл
Все свойства определителя с геометрическим объяснением: перестановка строк меняет знак, пропорциональные строки дают нуль, а приведение к треугольному виду считает ответ за пару шагов.

Теорема Кронекера-Капелли: ранги и число решений
Теорема Кронекера-Капелли: система линейных уравнений совместна, когда ранг основной матрицы равен рангу расширенной. Три исхода, число свободных переменных, разбор системы с параметром.