- MCNC:流形约束的网络压缩
通过约束参数空间到预定义和固定的非线性流形,我们提出的 MCNC 模型压缩方法有效地涵盖了这个空间,能在广泛的任务上实现前所未有的压缩率,从而识别高质量解决方案。在计算机视觉和自然语言处理任务的大量实验证明,MCNC 方法在压缩、准确性和 - 超越已知:对抗自编码器的新颖性检测
通过线性化保持内点分布结构的流形,我们计算新颖性概率,并在网络的训练协议上进行改进,证明我们的方法在学习目标类别方面是有效的,并在几个基准数据集上优于最新的先进方法。
- 自然贝叶斯克莱默 - 拉乌界限及其在协方差估计中的应用
我们提出了一个新的 Cramér-Rao Bound(CRB)来估计参数在流形中且遵循先验分布的情况下。通过对几何属性的基于误差准则和这个新界限之间的自然不等式进行推导,我们展示了该主要贡献。在数据服从高斯分布且先验分布是一个逆 Wisha - ICLR自动编码器的几何视角
这篇论文介绍了自编码器框架的几何方面,强调了它的重要性,同时提出了一些解决这些问题的几何方法。
- 欧几里得函数优化中的扭曲几何信息
通过在具有截断度量的流形上进行优化,我们得到了函数的最优解,并通过构造适当的回缩映射将途经的递近测地线拉回到流形上,从而有效地沿着近似的测地线进行优化。
- 在流形上使用自回归模型模拟复杂系统动态(mNARX)
我们提出了一种名为 mNARX 的新型代理建模方法,它通过构建最佳外部输入流形来有效而精确地近似对长时间的、受时间变化的外部激励驱动的复杂动态系统反应,可用于高维输入的系统,并已成功地应用于弹簧质量耦合系统和风能涡轮机模拟器的动态系统建模中 - 具有变分李群算子的流形对比学习
本文提出了一种对抗学习方法,使用 Lie 群算子直接建模深度神经网络的潜在流形,在图像数据自监督评估和少标注的半监督任务中都表现出了良好的性能。
- G 不变扩散映射
本文研究了从连续矩阵群操作下闭合的流形采样的数据嵌入问题,提出并证明了特定矩阵的特征向量与群的幺模表示元素的张量积可导出表征群作用的扩散映射,该方法在聚类和配准数据点方面表现出色。
- 利用密度函数的非线性转换估计 Ridge
本文提出一种利用凹非线性变换密度函数后进行带有 Rank-one 矩阵修正的特征值问题的变分方法,以改进对于所估计弯曲曲面在切点处的估测结果。通过其在合成和真实数据集上的实验结果表明了其方法对于估计真实弯曲曲面的优越性。
- 基于矩阵流形的神经网络构建:陀螺矢量空间方法
该论文提出了一种在矩阵流形上构建神经网络的新模型和层,通过将陀螺向量空间的理论应用于 SPD 和 Grassmann 流形上,推广了一些概念,并以人体动作识别和知识图谱完成两个应用来展示其有效性。
- 许多深层网络的训练过程可以被解释为探索同一低维流形
通过信息几何技术,分析深度网络在训练过程中的预测轨迹,揭示了网络训练过程中探索了一个有效低维度流形,在预测空间中,不同架构、大小、训练优化方法、正则化技术、数据增强技术和权重初始化的网络都在同一个流形上,并研究了该流形的细节,发现不同的网络 - 通过几何分解的快速扩散采样器用于逆问题
提出了一种新颖有效的扩散采样策略,将样本分解为在清洁数据流形上投影得到的 “去噪” 部分和诱导样本向下一级噪声流形过渡的 “噪声” 部分,可以更快和更精确地进行采样。在挑战性的实际医学逆成像问题中实现了最先进的重构质量,并且比以前的最先进方 - 深度学习初期数据几何效应
研究深度神经网络对非欧几里得数据集的表达能力,通过分析随机初始化的神经网络和线性边界区域等密度和距离等因素,推导出线性函数的表达形式和限制条件。
- Pose-NDF: 用神经距离场建模人体姿态流形
Pose-NDF 是一种基于神经距离场的连续模型,用于生成逼真的人体姿势,学习了合理的姿势流形作为神经隐式函数的零水平集。它在各种下游任务中的表现优于现有的先进方法,例如去噪、姿势恢复和 3D 姿势重建等。
- 关于几何深度学习的非线性算子
证明了点值非线性算子是唯一符合所研究的流形上梯度下降神经网络经过对称性变换不变的通用算子,而且在与具体对称性相对应的线性算子的配合使用中具有系统性。此外,在矢量场上,这种算子只能是标量乘法,即在满足对称性的条件下并没有通用的非线性算子。
- ICML神经隐式流形学习在拓扑感知生成建模中的应用
本论文提出一种通过神经隐式流来表示数据流形分布的方法,称为神经隐式流分布。为了解决基于前向模型的限制,引入了约束能量模型,该方法使用约束的 Langevin 动力学来训练和采样,能比前向模型更精确地学习复杂拓扑结构的流形支持分布,并允许将模 - 引导式深层度量学习
本文提出了一种新的由两个独立模型构成的度量学习结构 Guided Deep Metric Learning,通过使用 Few-Shot Learning 的角度来生成一个基于带标签数据的先验知识的减少的假设空间,之后通过离线的知识蒸馏方案来 - ICML深度学习中稳定性边缘处的梯度下降理解
研究了神经网络训练中的难点问题 Edge of Stability,发现了一种新的内隐正则化机制,通过对最小化损失面的低维流动,提出对比以往对无穷小更新或梯度噪声的依赖。
- MM通过量子动力学进行多流形学习
利用图嵌入的量子动力学模拟算法计算采样流形上的测地线,并揭示了数据采样和量子化之间的有趣关系。
- ICLR低维数据存在下的变分自编码器:优化空间及内在偏向
本文研究了变分自编码器的训练问题,提出了一种二阶段的训练算法,证明了该算法可以在低维流形上训练,并且得到的生成器可以恰好支持原本的低维流形,且是由于训练算法的隐式偏差而非 VAE 损失本身的原因。