ICMLApr, 2016

大规模广义特征向量计算和规范相关分析的高效算法

PDF
TL;DR本文提出了简化的迭代算法，用于解决数据分析和科学计算中的两个基础性问题：规范相关分析和对称矩阵对的广义特征向量问题，并通过一个通用框架来解决广义特征向量问题，该框架仅需要对近似线性系统求解器进行黑匣子访问，该算法是全局线性收敛的，并具有可行的时间复杂度，适用于大规模矩阵。
canonical-correlation analysisgeneralized eigenvector problemmachine learningstatisticslarge-scale matrices
发现论文，激发创造
  • 迭代最小二乘法实现大规模规范相关分析

    本文介绍了一种名为 L-CCA 的迭代算法，可在巨大的稀疏数据集上快速计算 CCA，同时建立了 L-CCA 的渐近收敛和有限时间准确性理论。实验结果表明，在两个真实数据集上，L-CCA 的表现优于其他快速 CCA 近似方案。

    Jul, 2014

  • 使用可扩展的规范相关分析在大型数据集中寻找线性结构

    该论文提出了一种针对大规模 CCA 问题的可扩展和内存高效的增量近似梯度（AppGrad）方案，该方案仅涉及宽度为 k 的瘦矩阵和尺寸为 k * k 的小矩阵分解，具有更优秀的存储复杂性和可拓展性，并可用于实时处理。

    Jun, 2015

  • 基于在线黎曼 PCA 的随机规范相关分析

    我们提出了一种有效的随机算法（RSG+），使用投影矩阵的重新参数化来进行规范相关分析（CCA），并展示了这种重新参数化如何直接提出机会来重新设计和调整用于 Riemann 流形上数值优化的成熟技术。

    Jun, 2021

  • 典型相关分析的高效降维

    该论文提出了一种快速的算法，用于近似计算规范相关分析。算法通过随机降维变换来缩小输入矩阵的尺寸，并对新的矩阵对应用 CCA 算法，从而计算出与原始矩阵对应的近似 CCA，且需要比最先进的准确算法更少的操作。

    Sep, 2012

  • 基于随机优化的规范相关分析高效全局收敛算法

    研究了标准相关分析的随机优化，提出了两种全局收敛的元算法，通过将原问题转化为序列的最小二乘问题，使用最先进的 SGD 方法，并获得了显著的时间复杂度改进。

    Apr, 2016

  • 深度广义典型相关分析再探

    探索多个观测随机向量之间的潜在共变性的经典统计方法 —— 典型相关分析 (CCA) 以及其扩展和变化在发现多视图数据集中的共同随机因素方面的能力。该研究设计了一种新颖高效的模型，适用于典型相关分析的深度扩展，并克服了现有方法的局限性，将私有组件建模为在给定共同组件的条件下条件独立，从而提供了一种更紧凑的表述形式。通过合成数据和实际数据的实验验证了我们的结论和方法的有效性。

    Dec, 2023

  • 随机标准相关性分析

    本文研究了规范相关分析的样本复杂度，提出了一种基于随机优化算法的解决方案，使用 Shift-and-Invert Power Iterations 进行处理的流式算法，从而实现相同的学习准确性和 (样本复杂度的水平)。

    Feb, 2017

  • 大规模近似核规范相关分析

    本论文提出了一种基于随机优化算法的近似核正则化典型相关分析方法，具有在处理大规模数据集时计算效率高的特点，该方法应用于语音数据集处理中，包含 $1.4$ 百万的训练样本，以及维度 $M=100000$ 的随机特征空间.

    Nov, 2015

  • 稀疏 CCA：自适应估计与计算障碍

    本文探讨了适应性极小化和可计算的高维度下领先的稀疏规范系数向量的估计方法，得出了基于高斯模型的计算下限，并提出了第一个基于高斯单钉合模型的稀疏 PCA 的计算下限。

    Sep, 2014

  • CCA Family 的高效算法：无约束目标与无偏梯度

    基于对 CCA 目标的随机梯度下降方法，提出了一种快速的多视图学习算法，能够在大规模数据中同时达到较快的收敛速度和更高的相关性，并能够在生物医学数据集和自我监督学习任务中取得卓越的表现。

    Oct, 2023