- 学习具有低内在维度的概念的平滑分析
传统的监督学习模型中,学习器的目标是基于一些类别中最适应的概念,通过学习任意分布的示例,输出一个与之相差不超过 epsilon 的假设。本研究引入了平滑分析框架,要求学习器只需与对小的随机高斯扰动具有鲁棒性的最佳分类器竞争,从而提供了广泛的 - CVPR一个子空间约束的泰勒估计量及其在运动结构中的应用
我们介绍了面向数据集中可能被严重污染的低维子空间恢复的子空间约束的 Tyler 估计器 (STE)。通过理论分析,我们发现 STE 可以有效恢复潜在的子空间,即使相对于其他鲁棒子空间恢复方法,它包含更小比例的内点。我们将 STE 应用于 S - 如何猜测梯度
神经网络的梯度具有比以前认为的更多结构,研究中探讨了梯度在可预测的低维子空间中的特点以及如何利用这种结构改进基于方向导数的无梯度优化方案。同时,突出了在最大程度地减小准确梯度计算方法和猜测梯度方法之间的优化性能差距方面所面临的新挑战。
- 线性张量变换的分解
本研究论文旨在开发一种能够将张量表示为有限数量低秩张量之和的精确张量分解的数学框架,通过解决三个不同的问题来导出:i)非负自伴随张量算子的分解;ii)线性张量变换的分解;iii)一般张量的分解。
- 大规模遥感图像检索的保持局部性多视图图哈希
本文提出了一种可学习参数的多视角哈希方法,用于在大规模遥感数据集中检索查询图像。通过在视图特定低维子空间中学习一致的紧凑码,并添加一个可学习的超参数模块来验证该方法的有效性。在三个遥感数据集上进行的大量实验表明,与七种最先进的方法相比,该方 - 合并阶梯性质:SGD 学习两层神经网络上稀疏函数的必要且近乎充分条件
本文研究基于 SGD 算法在均场方案下训练的二层神经网络,探讨神经网络如何处理高维数据并适应低维潜在结构的问题,提出了 “合并阶梯” 属性是这种学习方式的必要条件,同时证明了线性方法无法高效地学习这种类别的函数。
- 绕过环境维度:带有梯度子空间识别的私有 SGD
本文提出了一种投影 DP-SGD 方法,通过将噪声梯度投影到低维子空间来减少噪音,并在小型公共数据集中通过一般样本复杂度分析来确定此子空间。实证研究表明,该方法可以显著提高 DP-SGD 的准确性,特别是在高隐私损失情况下。
- 鲁棒子空间恢复概述
此论文为关于鲁棒性子空间恢复的工作作为介绍。该工作重点介绍了现有方法的优缺点以及该领域中未解决的问题,其目标是在可能被离群值破坏的数据集中查找潜在的低维子空间。
- 通过保证低秩矩阵估计对大数据的结构进行利用
低秩建模在信号处理和机器学习中扮演着关键的角色,本文综述了利用凸和非凸方法对低秩矩阵估计进行计算上高效可证的方法,其中包括对低维子空间和流形的适当利用及其对计算和存储成本的显著降低。
- 可证明的动态鲁棒主成分分析或鲁棒子空间追踪
提出了一种名为 simple-ReProCS 的新算法,它是基于递归投影压缩感知(ReProCS)框架的,用于动态 RPCA 问题中的离群值检测和跟踪,并能够在弱化标准 RPCA 假设、慢潜空间变化和适当假设离群值大小的条件下提供第一个完整 - 基于阈值的高效异常值鲁棒主成分分析
本文提出了基于阈值的迭代算法,用于处理含有离群点的数据集中的偏差鲁棒主成分分析问题,该方法的迭代复杂度最多线性,可以处理至多 α 分数的离群点,并且对于一般噪声设置具有近乎最佳的计算复杂度。对于特殊情况,即噪声是加性高斯噪声,本文改进了该方 - AAAI谱收缩聚类的凸形式
该研究提出了一种基于凸优化的算法,可以在低维度空间中进行流形学习和聚类,相比于传统方法,该算法获得了更有结构的聚类结果并取得了很好的性能表现。
- 贝叶斯线性逆问题的最优低秩逼近
基于贝叶斯方法解决的逆问题,通常相对于先验只在参数空间的低维子空间上有信息。因此,可以利用该子空间对参数的后验分布进行近似计算。本文从近似后验协方差矩阵和后验均值两个角度,提出了两种快速的近似方法,并在多个应用案例中进行了验证。
- 通过双重随机投影恢复最优解
本文提出了一种名为 Dual Random Projection 的简单算法,通过将高维数据映射到低维子空间来减少计算成本,使用低维优化问题的对偶解来恢复原始优化问题的最优解,并分析了算法的理论依据。
- 通过凸松弛实现线性模型的鲁棒计算
该论文提出了一种名为 REAPER 的凸优化问题来处理向量值观测数据中的低维子空间和离群值,利用正交投影子空间参数化线性子空间,并使用正交投影子空间的松弛达到凸优化的形式,并提供了 REAPER 的有效算法和数值实验结果的文献。