- 学习神经场的信号不可知流形
通过利用神经网络学习数据集的潜在结构,构建 GEM 模型,实现跨模态音像的模态无关表达与样本生成
- 对称正定矩阵空间上的向量值距离和 Gyrocalculus
本文提出了在对称正定矩阵流形中使用向量值距离计算距离和提取几何信息,并开发陀螺矢量微积分,在该曲面上构建向量空间操作的类比。在知识图谱完成、项目推荐和问题回答等任务中,我们展示了这些操作的多样性。在实验中,SPD 模型优于欧几里德和双曲空间 - 用 Wasserstein 距离估计切空间和维数
使用本地 PCA 算法估计嵌入的欧几里得空间中光滑紧致亚流形的维数和正切空间需要的样本点数具有数学严格的上界,该估计考虑了非均匀数据分布和可能跨越亚流形变化的噪声,并允许在多个点上同时进行估计。
- 使用理想原型的双曲布斯曼学习
本文提出了超边界学习的想法,并使用理想原型的概念来定位超边界原型,以避免先前的标签知识,同时通过引入受惩罚的 Busemann 损失来计算原型间的距离。与最近的超球面和超边界原型方法相比,实证结果表明我们的方法提供了自然的分类置信度解释,并 - ICLR深度神经网络泛化与记忆的几何学
通过几何分析深度神经网络的 memorization 结构及相关特征,发现较深层的 memorization 更为显著,可以通过恢复层权重预防,同时与模型几何结构和 generalization 性能有关。
- ICML超参数神经网络中的损失景观几何:对称性和不变性
本文通过组合分析的方式,对超参数化神经网络中对称引起的关键点进行了探讨,发现这些关键点生成的正则流形在 mildly overparameterized regime 时占优,但是当 vastly overparameterized reg - 流形热插值下高斯核化图拉普拉斯的特征收敛
研究随机采样的流形上的图拉普拉斯矩阵与 Laplace-Beltrami 算子的谱收敛,证明可以通过与流形热核进行卷积来构造近似的本征函数,从而实现本征值和本征向量的收敛,证明了多维数据中的收敛率和一些低本征值的点与 Dirichlet 形 - EMNLP有条件文本生成的即插即用自编码器
本文提出了一种基于嵌入空间的文本自编码器的插入式方法,通过学习 offset 向量来保持映射嵌入在自编码器流形范围内,优化了样式转换任务,而且比其他算法在性能和速度方面都发挥了更好的作用。
- ICLR数据流形上的 Shapley 可解释性
本研究旨在介绍 Shapley 可解释性的一个数学根据和模型独立的框架,但是通常的 Shapley 可解释性实现做了一个不切实际的假设,即模型的特征是不相关的,而作者这里提出了两种策略去解决这个问题,基于生成建模的方法提供灵活的数据归因,另 - Geoopt: PyTorch 中的黎曼优化
Geoopt 是一个用于基于黎曼流形优化的,面向研究的模块化开源软件包,支持基本的黎曼随机梯度下降以及自适应优化算法,并提供多种算法和计算方法,可实现在现有模型中集成的几何感知神经网络层。
- ACL面向几何感知的领域自适应方法用于词嵌入无监督对齐
提出了一种基于流形的几何学方法,用于学习源语言和目标语言之间的无监督对齐单词嵌入。该方法将对齐学习问题进行了公式化,并将其视为具有两倍随机矩阵的流形上的域自适应问题。实验表明,该方法在多种语言对的双语词汇识别任务上优于现有的最优传输方法,尤 - NIPS数据流形上基于均匀插值约束的测地线学习
该论文提出了一种基于测地线学习的方法,利用自编码器网络将数据样本映射到潜在空间,并通过插值网络进行插值,以生成高质量的插值样本。
- 过度参数化梯度下降对度量的稀疏优化
使用重点理论工具,在 Wasserstein 空间中进行局部收敛分析和扰动镜像下降分析,通过将度量离散化并运行非凸梯度下降来解决衡量函数的稀疏性惩罚问题,实现全局优化算法,其复杂度与凸多项式相比在所期望的精度下具有 log(1/ε) 的比例 - 深度神经网络中的降维压缩和扩展
本研究发现神经网络可以学习较低维度的流形,从而在高维数据空间中分解数据,同时又能取得良好的泛化性能,重点关注降维和流形的内在维度等方面。
- MM紧致黎曼流形上的几何小波散射网络
本文介绍了一种基于仿射不变性和微分同胚稳定性的 Geometric Scattering Transform 方法,可以使卷积神经网络在流形和图结构领域中更具有普适性和稳定性。
- ICCV全息降噪:无监督学习三维点云清理
本文探讨了基于无监督学习的 3D 点云去噪方法,通过在无结构的 3D 点云上引入空间先验项的方式,实现了对噪声的准确降噪。
- AAAI利用等周损失进行零样本学习
该论文介绍了等周损失(isoperimetric loss)作为图像表示到语义嵌入的映射的正则化标准,提出了一种使用预训练的深度神经网络模型作为图像数据的视觉表示的方法,并使用线性映射将视觉和语义嵌入空间结合起来,此方法通过利用样本空间中定 - CVPR核映射流形减少对抗扰动的影响
本研究针对深度卷积模型的线性和非弹性的特点易受到对抗扰动的攻击,提出了一种基于非线性径向基卷积特征映射的方法,通过学习类马氏距离函数,将卷积特征映射到线性分离的流形上来提高深度卷积神经网络对抗扰动的鲁棒性。研究结果表明,该方法可以提高深度卷 - 扩散变分自编码器
本文介绍了使用扩散变分自编码器作为潜在空间的任意流形来解决标准变分自编码器无法捕捉某些数据集拓扑性质的问题。我们证明了其可以捕捉合成数据集的拓扑性质,并在各种流形上对 MNIST 数据集进行了训练。
- ICLR对抗训练的局限性和盲点攻击
本文研究了对抗训练的实用性和难度,发现对抗训练的有效性与测试数据点与网络嵌入的训练数据流形之间的距离有强烈相关性,离流形越远的测试数据点越容易受到对抗攻击,并提出了新型攻击 ——“盲点攻击”,在任何真实数据点可能存在,其对大规模复杂数据的对