Канонический корреляционный анализ

Канонический корреляционный анализ (ККА, англ. Canonical Correlation Analysis, CCA) — это способ получения информации из матриц взаимной корреляции^[англ.]. Если у нас есть два вектора ${\displaystyle X=(X_{1},\dots ,X_{n})}$ и ${\displaystyle Y=(Y_{1},\dots ,Y_{m})}$ случайных величин, и имеются корреляции среди этих переменных, тогда канонический корреляционный анализ найдёт линейную комбинацию X и Y, которая имеет максимум корреляции^[1]. Т. Р. Кнапп заметил, что «практически все общеупотребительные параметрические тесты значимости могут трактоваться как специальный случай канонического корреляционного анализа, который является общей процедурой для исследования связей между двумя наборами переменных»^[2]. Первым метод представил Гарольд Хотеллинг в 1936^[3].

Если даны два вектор-столбца^[англ.] ${\displaystyle X=(x_{1},\dots ,x_{n})'}$ и ${\displaystyle Y=(y_{1},\dots ,y_{m})'}$ случайных величин с конечными вторыми моментами, можно определить взаимную корреляцию^[англ.] ${\displaystyle \Sigma _{XY}=\operatorname {cov} (X,Y)}$ как ${\displaystyle n\times m}$ матрицу, элементы ${\displaystyle (i,j)}$ которой являются ковариациями ${\displaystyle \operatorname {cov} (x_{i},y_{j})}$. На практике мы оцениваем ковариационную матрицу, основываясь на выборочных данных из ${\displaystyle X}$ и ${\displaystyle Y}$ (т.е. из пары матриц данных).

Канонический корреляционный анализ ищет вектора ${\displaystyle a}$ (${\displaystyle a}$${\displaystyle \in \mathbb {R} ^{n}}$ ) и ${\displaystyle b}$ (${\displaystyle b\in \mathbb {R} ^{m}}$), такие что случайные величины ${\displaystyle a'^{T}X}$ и ${\displaystyle b'^{T}Y}$ максимизируют корреляцию ${\displaystyle \rho =\operatorname {corr} (a'^{T}X,b'^{T}Y)}$. Случайные величины ${\displaystyle U=a'^{T}X}$ и ${\displaystyle V=b'^{T}Y}$ являются первой парой канонических переменных. Затем ищутся вектора, максимизирующие ту же корреляцию с ограничением, что они не коррелируют с первой парой канонических переменных, это даёт вторую пару канонических переменных. Эта процедура может продолжаться до ${\displaystyle \min\{m,n\}}$ раз.

$${\displaystyle (a',b')={\underset {a,b}{\operatorname {argmax} }}\operatorname {corr} (a^{T}X,b^{T}Y)}$$

Пусть ${\displaystyle \Sigma _{XX}=\operatorname {cov} (X,X)}$ и ${\displaystyle \Sigma _{YY}=\operatorname {cov} (Y,Y)}$. Максимизируемый параметр

${\displaystyle \rho ={\frac {a^{T}\Sigma _{XY}b}{{\sqrt {a^{T}\Sigma _{XX}a}}{\sqrt {b^{T}\Sigma _{YY}b}}}}.}$

На первом шаге осуществляем замену базиса^[англ.] и определяем

${\displaystyle c=\Sigma _{XX}^{1/2}a,}$

${\displaystyle d=\Sigma _{YY}^{1/2}b.}$

Тогда мы имеем

${\displaystyle \rho ={\frac {c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{{\sqrt {c^{T}c}}{\sqrt {d^{T}d}}}}.}$

По неравенству Коши — Буняковского мы получим

${\displaystyle \left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\right)(d)\leqslant \left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}\left(d^{T}d\right)^{1/2},}$

${\displaystyle \rho \leqslant {\frac {\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}}{\left(c^{T}c\right)^{1/2}}}.}$

Неравенство превращается в равенство, если вектора ${\displaystyle d}$ и ${\displaystyle \Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c}$ коллинеарны. В дополнение, максимум корреляции достигается, когда ${\displaystyle c}$ является собственным вектором с максимальным собственным значением для матрицы ${\displaystyle \Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}}$ (см. Отношение Рэлея). Следующая пара находится при использовании следующего по величине собственного значения. Ортогональность гарантируется симметрией корреляционных матриц.

Решение:

• ${\displaystyle c}$ является собственным вектором ${\displaystyle \Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}}$
• ${\displaystyle d}$ пропорционально ${\displaystyle \Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c}$

Соответственно, также

• ${\displaystyle d}$ является собственным вектором ${\displaystyle \Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1/2}}$
• ${\displaystyle c}$ пропорционально ${\displaystyle \Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}$

При обратном изменении координат получаем

• ${\displaystyle a}$ является собственным вектором ${\displaystyle \Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}}$,
• ${\displaystyle b}$ пропорционально ${\displaystyle \Sigma _{YY}^{-1}\Sigma _{YX}a;}$
• ${\displaystyle b}$ является собственным вектором ${\displaystyle \Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY},}$
• ${\displaystyle a}$ пропорционально ${\displaystyle \Sigma _{XX}^{-1}\Sigma _{XY}b}$.

Канонические переменные определяются равенствами:

${\displaystyle U=c'\Sigma _{XX}^{-1/2}X=a'X}$

${\displaystyle V=d'\Sigma _{YY}^{-1/2}Y=b'Y}$

ККА может быть вычислен с помощью сингулярного разложения корреляционной матрицы^[4]. Каноническая корреляция доступна как функция в следующих системах^[5].

• MATLAB — функция canoncorr (а также в Octave).
• R — стандартная функция cancor и некоторые другие пакеты. CCP для статистической проверки гипотез в каноническом корреляционном анализе.
• SAS^[англ.] — процедура cancorr.
• scikit-learn, Python — пакет Cross decomposition.
• SPSS — макро CanCorr, поставляемый с главным пакетом.

Каждая строка проверяется на значимость с помощью следующего метода. Поскольку корреляции отсортированы, из утверждения, что строка ${\displaystyle i}$ нулевая, вытекает, что все дальнейшие корреляции также равны нулю. Если мы имеем ${\displaystyle p}$ независимых наблюдений в выборке и ${\displaystyle {\widehat {\rho }}_{i}}$ является расчётной корреляцией для ${\displaystyle i=1,\dots ,\min\{m,n\}}$, для ${\displaystyle i}$-ой строки критерием значимости будет:

${\displaystyle \chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{\min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),}$

которое асимптотически распределено как хи-квадрат с ${\displaystyle (m-i+1)(n-i+1)}$ степенями свободы для больших ${\displaystyle p}$^[6]. Поскольку все корреляции от ${\displaystyle \min\{m,n\}}$ до ${\displaystyle p}$ равны нулю, произведение членов после этой точки не имеют значения.

Типичное использование канонической корреляции в экспериментальном контексте заключается в рассмотрении двух наборов переменных и изучении, что общего в этих двух наборах ^[7]. Например, в психологических исследованиях можно взять два установившихся многофакторных личностных теста^[англ.], таких как Миннесотский многоаспектный личностный опросник (MMPI-2) и NEO. Рассматривая, как факторы MMPI-2 относятся к факторам NEO, можно обнаружить, какие характеристики оказались общими для двух тестов и насколько переменные являются общими. Например, можно обнаружить, что такие характеристики, как экстраверсия или невротизм, составляют существенную часть общих переменных для двух тестов.

Можно также использовать канонический корреляционный анализ для получения равенства, которое связывает два набора переменных, например, набора измерений производительности и набора объясняющих переменных, или набора выхода и набора входа. На такую модель могут быть наложены ограничивающие условия для обеспечения теоретических или интуитивно очевидных требований. Этот тип модели известен как модель максимальной корреляции^[8].

Визуализация результатов канонической корреляции осуществляется обычно через столбцовый график коэффициентов двух наборов переменных для пар канонических переменных, показывающий значимую корреляцию. Некоторые авторы предлагают, что лучше визуализировать результаты на гелиографе, который представляет собой круговой график с лучами в виде столбцов, половина из которых представляет один набор переменных, а другая половина — второй набор^[9].

Пусть ${\displaystyle X=x_{1}}$ с нулевым математическим ожиданием, т.е. ${\displaystyle \operatorname {E} (X)=0}$. Если ${\displaystyle Y=X}$, т.е. ${\displaystyle X}$ и ${\displaystyle Y}$ полностью коррелированны, тогда, к примеру, ${\displaystyle a=1}$ и ${\displaystyle b=1}$, так что первая (только для этого примера) пара канонических переменных равна ${\displaystyle U=X}$ и ${\displaystyle V=Y=X}$. Если ${\displaystyle Y=-X}$, т.е. ${\displaystyle X}$ и ${\displaystyle Y}$ полностью антикоррелированны, то ${\displaystyle a=1}$ и ${\displaystyle b=-1}$, так что первая (только для этого примера) пара канонических переменных равна ${\displaystyle U=X}$ и ${\displaystyle V=-Y=X}$. Заметим, что в обоих случаях ${\displaystyle U=V}$, что показывает, что канонический корреляционный анализ работает с коррелированными переменными точно так же, как и с антикоррелированными.

Предположим, что ${\displaystyle X=(x_{1},\dots ,x_{n})'}$ и ${\displaystyle Y=(y_{1},\dots ,y_{m})'}$ имеют нулевые математические ожидания, т.е. ${\displaystyle \operatorname {E} (X)=\operatorname {E} (Y)=0}$. Их ковариационные матрицы ${\displaystyle \Sigma _{XX}=\operatorname {Cov} (X,X)=\operatorname {E} [XX']}$ и ${\displaystyle \Sigma _{YY}=\operatorname {Cov} (Y,Y)=\operatorname {E} [YY']}$ можно рассматривать как матрицы Грама со скалярным произведением для ${\displaystyle X}$ и ${\displaystyle Y}$ соответственно. В такой интерпретации случайные величины, элементы ${\displaystyle x_{i}}$ вектора ${\displaystyle X}$ и элементы ${\displaystyle y_{j}}$ вектора ${\displaystyle Y}$, трактуются как элементы векторного пространства со скалярным произведением, задаваемым ковариацией ${\displaystyle \operatorname {cov} (x_{i},y_{j})}$.

Определение канонических переменных ${\displaystyle U}$ и ${\displaystyle V}$ тогда эквивалентно определению корневых векторов для пар подпространств, натянутых на ${\displaystyle X}$ и ${\displaystyle Y}$, с учётом этого скалярного произведения. Каноническая корреляция ${\displaystyle \operatorname {corr} (U,V)}$ равна косинусу угла между подпространствами.

ККА можно также рассматривать как специальное отбеливающее преобразование^{[англ.][10]}, где случайные вектора ${\displaystyle X}$ и ${\displaystyle Y}$ одновременно преобразуются таким образом, что матрица взаимной корреляции между отбеленными векторами ${\displaystyle X^{CCA}}$ и ${\displaystyle Y^{CCA}}$ является диагональной^[11].

Канонические корреляции тогда интерпретируется как коэффициенты регрессии, связывающие ${\displaystyle X^{CCA}}$, и ${\displaystyle Y^{CCA}}$ и они могут быть отрицательными. Взгляд на ККА как на регрессию даёт способ построения латентной переменной порождающей вероятностной модели для ККА с некоррелируемыми скрытыми переменными, представляющими общую и частную дисперсию.

• Обобщённая каноническая корреляция^[англ.]
• Полилинейное обучение подпространств^[англ.]
• Коэффициент RV^[англ.]
• Углы между гиперплоскостями^[англ.]
• Метод главных компонент
• Линейный дискриминантный анализ
• Сингулярное разложение
• Регрессия частных наименьших квадратов^[англ.]

• Discriminant Correlation Analysis (DCA)
  • Haghighat M., Abdel-Mottaleb M., Alhalabi W. Discriminant Correlation Analysis: Real-Time Feature Level Fusion for Multimodal Biometric Recognition. IEEE Transactions on Information Forensics and Security]. — 2016. — Т. 11(9). (MATLAB)
• Hardoon D., Szedmak S., Shawe-Taylor J. Canonical Correlation Analysis: An Overview with Application to Learning Methods // Neural Computation. — 2004. — Т. 16, вып. 12. — P. 2639–2664. — doi:10.1162/0899766042321814. — PMID 15516276.
• A note on the ordinal canonical-correlation analysis of two sets of ranking scores (Приведена программа на языке FORTRAN)- Journal of Quantitative Economics 7(2), 2009, pp. 173–199
• Representation-Constrained Canonical Correlation Analysis: A Hybridization of Canonical Correlation and Principal Component Analyses (Приведена программа на языке FORTRAN)- Journal of Applied Economic Sciences 4(1), 2009, стр. 115–124

Для улучшения этой статьи желательно: Проверить качество перевода с иностранного языка. Исправить статью согласно стилистическим правилам Википедии. После исправления проблемы исключите её из списка. Удалите шаблон, если устранены все недостатки.