- 生成节点嵌入的人类可理解解释
研究论文通过分析图中的节点嵌入算法和人可理解的图特征的关系,提出了一种叫做 XM 的新框架,该框架通过最小化核范数来生成能够解释的嵌入,既保持了现有节点嵌入方法的性能,又增强了其可解释性。
- 强化学习中基于时间不一致性的自监督探索
本文提出一种新的内在奖励方法,利用自监督预测模型和核范数来评估历史知识对当前观察的差异,以此解决稀疏奖励的强化学习问题,并在多个基准环境下展示其优越性。
- ICLR解决梯度下降隐式偏差的矩阵分解方法:贪婪的低秩学习
通过深度为 2 的矩阵分解及理论和实证证据,我们证明了梯度流(用无穷小初始化)等价于一个简单的启发式秩量化算法,同时对深度大于等于 3 的情况进行了扩展,并证明了深度的优势在于对初始化幅度的弱依赖性,因此这种秩量化更可能在实践中起作用。
- 矩阵补全中缺失非随机性:在低核范数假设下估计缺失概率的有效性
本文研究了具有缺失非随机性的矩阵补全问题,提出了一种新的缺失概率估计方法,通过观察缺失数据的核范数结构,将缺失数据的概率转化为矩阵补全问题。该方法能够显著降低标准矩阵补全算法在缺失数据情况下预测结果的偏差,实验表明其效果好于传统方法。
- 关于 Dropout 和核范数正则化
该研究对具有平方误差的深层线性网络的 dropout 正则化器进行了正式且完整的表征,并表明显式正则化器由 $L_2$-path 正则化器和其他重新缩放不变项组成,引出了网络映射的平方核范数。最后,作者通过实证结果验证了他们的理论发现。
- 因果面板数据模型的矩阵补全方法
研究使用矩阵补全方法估计具有面板数据的因果效应,在社会科学应用中,允许具有时间序列依赖结构的缺失数据模式,提出的矩阵补全估计量仅通过规则化即可处理识别问题,在真实数据模拟中表现优于非规则化或人工决策估计器。
- 低秩矩阵优化的非凸几何
本文针对两个广泛使用的最小化问题:凸函数最小化问题和加上核范数的凸函数最小化问题,提出使用低秩分解和替代核范数的方法来加速求解问题,并证明其可以在全局范围内找到最优解。
- 基于新的排名逼近的 Top-N 推荐
本文提出了一种新颖的排序逼近方法来提高 Top-N 推荐系统的性能,其中逼近误差是可控的,实验结果表明该方法显著提高了 Top-N 推荐的准确性。
- 基于更严格的秩近似的鲁棒子空间聚类
本文介绍了一种基于反正切函数的更紧密逼近秩函数的方法,并使用它来解决具有挑战性的子空间聚类问题,并开发了一种基于增广拉格朗日乘数方法的有效优化过程。实验结果表明,所提出的方法对于秩逼近问题十分有效。
- 通过迭代重新加权核范数来进行非凸非光滑低秩最小化
本文提出了一种使用一组非凸假设函数对矩阵奇异值进行 $L_0$- 范数逼近的非凸非光滑极小值问题,并采用 Iteratively Reweighted Nuclear Norm (IRNN) 算法进行求解。本文在合成和真实图像数据上进行了广 - 平滑秩近似算法鲁棒子空间聚类
本文提出一种基于 Logarithm-Determinant 的等级逼近方法,用于子空间聚类应用,并开发有效的优化策略,以实现收敛到一个稳定点,并在人脸聚类和运动分割任务方面比目前最先进的子空间聚类算法具有更好的效果。
- 低秩矩阵估计的更快速度和 Oracle 特性
本研究提出了一种统一的低秩矩阵估计方法,使用非凸惩罚,证明其在统计学上比传统方法更快,且具有奥卡姆属性(即精确地恢复矩阵的真实秩),并在人工合成和真实数据集上的数值实验证实了我们的理论。
- 通过低秩 Hankel 矩阵重建从随机高斯投影中恢复复指数信号的鲁棒性恢复
本文研究从少量随机高斯投影中恢复由 R 个不同的复指数函数叠加而成的超级信号,通过寻找信号的低秩 Hankel 矩阵最小化其核范数实现,理论结果表明,只要投影数量超过 O(Rln ^ 2N),可以实现强鲁棒恢复。
- 高阶张量的核范数
本文探讨了高阶张量的核范数的数学和计算特性,发现核范数与张量秩一样取决于基域的选择,并且证明了对于对称张量,它的对称核范数总是等于其核范数。此外,本文还证明了计算张量核范数在多个方面上是 NP 难问题。
- 一种基于经验贝叶斯方法的非凸秩最小化算法
本文提出了一种基于变分近似的经验贝叶斯程序,用于低秩矩阵估计,与核范数不同的是,该方法保留了很多有用约束下与秩函数相同的全局最小点估计。该方法适用于广泛的低秩学习应用,特别是强健主成分分析问题(RPCA)。
- 基于核范数的矩阵回归及其在面部遮挡和光照变化识别中的应用
本文提出一种基于矩阵回归的面部表示和分类方法 NMR,使用最小核范数作为准则,旨在利用低秩结构信息,相对于当前回归方法,该模型具有更强的去除遮挡引起的结构噪声的能力和更好的鲁棒性。实验结果表明其优于现有技术的表现。
- 学习聚类和分类的变换
本研究提出了一种基于低秩变换学习的健壮子空间聚类和分类框架,其中学习的线性转换通过其凸替代核范数作为优化标准来恢复来自相同子空间的数据的低秩结构,并同时在来自不同子空间的数据之间强制产生最大分离结构,以实现更稳健的子空间聚类。所提出的框架通 - MM方形交易:张量恢复的下界和改进的松弛
本文提出一种新的简单的基于凸松弛的方法,并通过模拟实验证明其在低秩张量恢复方面性能更好,这有可能通过同时利用多种结构来降低样本复杂度。
- 稀疏正交投影方法在单纯形上的应用
本文实现了基于凸松弛和非凸约束的高维学习问题,包括量子重构、稀疏密度估计和组合优化等领域,以简单形式解决这些问题。
- 具有全局线性收敛算法的增广 L1 和核范数模型
在稀疏优化的范畴中,本文研究了在非可微目标函数上添加平滑函数的想法,特别是在 $||x||_1+1/(2\alpha)||x||_2^2$ 和 $||X||_*+1/(2\alpha)||X||_F^2$ 两种情况下,我们证明了它们可以高效