Jan, 2024

多元向量值函数的共享活跃子空间

PDF
TL;DR本文提出了几个作为计算多元向量值函数的共享主动子空间的基线的方法，其目标是最小化原始空间上的函数评估与重构空间上的函数评估之间的偏差，可以通过操作梯度或从每个分量函数的梯度计算的对称正（半）定矩阵来得到所有分量函数共同的单一结构，这些方法可以应用于任何数据，不受底层分布的限制，与现有的受限于正态分布的向量值方法不同，我们测试了这些方法在五个优化问题上的效果，实验结果表明，总体而言，基于对称正定矩阵的方法优于基于梯度的方法，在正态分布的情况下接近于向量值方法，有趣的是，在大多数情况下，取这些对称正定矩阵的和即可识别出最佳的共享主动子空间。
shared active subspacemultivariate vector-valued functionsgradientssymmetric positive definite matricesoptimization problems
发现论文，激发创造
  • 对称正定流形上低复杂度子空间下降

    提出了一种低复杂度的黎曼子空间下降算法，通过利用选择的子空间，并将更新写为迭代点的 Cholesky 因子和一个稀疏矩阵的乘积，避免了矩阵幂运算和密集矩阵乘法，能够高效地计算黎曼梯度，特别适用于协方差估计等领域。

    May, 2023

  • 活跃子空间方法在理论和实践中的应用：矿晶面

    提出了一种新的建立响应面的方法：先检测强变异性的方向，然后利用这些方向来建立低维度的 active subspace 中的响应面，并使用误差界限将理论量与 kriging 响应面的参数联系起来。

    Apr, 2013

  • 对称正定矩阵空间上的向量值距离和 Gyrocalculus

    本文提出了在对称正定矩阵流形中使用向量值距离计算距离和提取几何信息，并开发陀螺矢量微积分，在该曲面上构建向量空间操作的类比。在知识图谱完成、项目推荐和问题回答等任务中，我们展示了这些操作的多样性。在实验中，SPD 模型优于欧几里德和双曲空间的等价物。向量值距离使我们能够可视化嵌入，展示模型学习从正样本中区分负样本的表示。

    Oct, 2021

  • 基于梯度的多元向量值函数降维

    提出一种基于梯度的方法，利用导向高维不确定性量化问题中重要方向，构建函数的岭近似，对于向量值函数来说。该方法最小化近似误差的上界，通过子空间 Poincare 不等式获得。在参数空间配备高斯概率测度的情况下，提供了彻底的数学分析，结果表明，使用函数的梯度可以有效地降低维度。还展示了如何选择函数定域的规范对函数的低维近似有影响。该方法推广了与标量值函数相关联的主动子空间的概念。

    Jan, 2018

  • 对称正定流形上的 Bregman 散度稀疏编码

    本文介绍了一种用于对称正定（SPD）矩阵的稀疏编码和字典学习方法，该方法不仅可用于机器学习，还可用于计算机视觉等领域。我们通过使用两种不同的 Bregman 矩阵差异将 SPD 矩阵嵌入到 Hilbert 空间中，提出一种稀疏编码方法和在线迭代的字典学习方法。通过将该方法应用于图像区域的协方差矩阵，本文在包括人脸识别、动作识别、材料分类和纹理分类等各种分类任务上，实现了比现有算法更好的效果。

    Aug, 2014

  • 从流形到流形：用于 SPD 矩阵的几何感知降维

    使用正定对称 (SPD) 矩阵表示图像和视频，并考虑到所得空间的里曼尼几何，已被证明在许多识别任务中有益。本文引入了一种方法来构建一个更具判别力的低维 SPD 流形以处理高维 SPD 矩阵，并将学习表述为 Grassmann 流形上的优化问题。实验表明，与现有技术相比，我们的方法可使分类准确性显著提高。

    Jul, 2014

  • 对称正定流形上的核稀疏子空间聚类

    通过使用 Log-Euclidean 核，将 SPD 矩阵嵌入到重现核希尔伯特空间中，构建了在 SPD 流形上的核稀疏子空间聚类方法，即 KSSCR。通过利用数据内在的 Riemann 几何来发现潜在的子空间结构。实验证明，该方法比现有方法具有更好的聚类效果。

    Jan, 2016

  • SPD 流形上的降维： 几何感知方法的出现

    本篇论文介绍了如何通过构造一个低维对称正定矩阵流形来解决高度计算成本的难题，并进一步提出了一种处理高维对称正定矩阵的算法，以此来实现降维，最后在多个分类任务中验证了该方法的有效性。

    May, 2016

  • 自适应随机子空间中的高维优化

    提出了一种新的高维随机优化方法，将坐标下降法推广到随机子空间，证明了使用自适应采样策略的随机子空间可以显著优于最近文献中常见的盲目采样方法，可以通过相关随机矩阵集合有效生成自适应子空间；在具有不同谱衰减的数据矩阵上验证了该方法在机器学习问题中的速度优势，包括逻辑回归、带随机卷积层的核分类和具有修正线性单元的浅神经网络。

    Jun, 2019

  • 基于 SPD 流形的几何感知相似度学习在视觉识别中的应用

    本文提出了一种利用黎曼几何学习固定秩半正定矩阵流形的几何感知 SPD 相似性学习框架，通过在 PSD 流形中优化来学习具有判别性的 SPD 特征，优于现有的基于 SPD 的判别学习方法。

    Aug, 2016