ICLRJul, 2022

验证图像数据的流形并集假设

PDF
TL;DR本文讨论了流形假设不适当地捕捉了图像数据中典型的低维结构。我们考虑流形联合假设，并在常用图像数据集上进行实证验证，发现观察到的数据在一个不相连的集合上。我们还发现，针对这种结构设计具有归纳偏置的模型可以提高分类和生成建模任务的性能。
发现论文，激发创造
  • 神经网络在流形假设下学习的困难性

    通过对流形假设的研究，我们发现神经网络的可学习性与流形的曲率、正则性以及数据流形的体积之间存在紧密的关联；流形的有限曲率限制了学习问题的可解性，而数据流形的体积增加则会提高网络的可学习性。此外，我们还探讨了在真实世界数据中常见的具有异质特征的中间流形区域的情况。

    Jun, 2024

  • 测试流形假说

    本论文旨在发展一种算法（并附带复杂性保证），用于适应一个未知的由可分 Hilbert 空间支持的概率分布，仅使用该分布的独立同分布样本来调整流形。

    Oct, 2013

  • 图像流形的概率和语义描述及其应用

    该论文介绍了用于估计图像概率密度函数的方法，研究了生成模型在 AI 和计算机视觉领域的应用，探讨了用于防御对抗性攻击的可能性，并讨论了语义解释在描述图像上的应用。

    Jul, 2023

  • 神经网络中数据结构对学习的影响建模：隐藏流形模型

    本文提出了一个名为 “隐藏流形模型” 的生成模型，证明了随机梯度下降算法训练的两层神经网络表现的动态可以通过 Integro-differential 方程组进行跟踪，同时分析了神经网络训练过程中神经网络学习增加复杂度和提高性能的方式以及受其大小、学习率和隐藏流形维度等参数的影响。

    Sep, 2019

  • 使用深度学习学习脑 MRI 隐式流形

    采用深度学习技术，探索正常大脑的隐式流形，并通过解决图像合成和去噪问题，提出了一种新颖的无监督 T1 加权脑 MRI 合成方法，进一步证明了人工网络合成逼真图像数据的能力，从而可以更好地用于改进成像处理技术和提供大脑结构变化的定量框架。

    Jan, 2018

  • 利用流形先验在模型训练中融入远程学习

    本研究提出了 Distance Learner 方法，利用 “流形假设” 作为先验知识，对于 DNN-based 分类器进行训练，结果表明 Distance Learner 相比标准分类器学习到更有意义的分类边界，并且在对抗鲁棒性任务中表现出色。

    Jul, 2022

  • 潜在图像流形的数据表示研究

    本文探究了图像流形的曲率，发现卷积神经网络在分类任务中的整体曲率表现具有特殊的特点，即初始速度的加速，接着进入了一个较长的平稳期和之后的再加速。此外，我们发现最后两层图层的曲率缺口与网络的泛化能力有很强的相关性，并观察到常见的正则化方法，如 mixup，在相比其他方法时，呈现出更平的表示特征。

    May, 2023

  • 通过流形假设的视角解析深度生成模型：一项调查与新连接

    深度生成模型与流形假设之间的相互作用引起了人们的广泛关注。本文通过流形视角对 DGM 进行了首次调查，并对其进行了两个新的贡献：首先，形式上证明了高维似然函数的数值不稳定性是无法避免的；其次，发现基于自编码器的 DGM 可以被解释为近似最小化 Wasserstein 距离，这一结果有助于解释其出色的实证结果。流形视角提供了理解 DGM 的丰富视角，我们希望能够使之更加易于理解和推广。

    Apr, 2024

  • 无需流行学习的流形上的学习

    基于 Hypersphere 上的球面多项式，无需预处理数据即可构建一次性逼近，并给出了相对 “粗糙” 函数的最佳逼近速率。

    Feb, 2024

  • 流形感知归纳哈希

    本文介绍了一种基于流形学习的紧凑二进制哈希算法，解决了流形学习在大规模嵌入中的问题，并提出了一个有效的方法来解决样本外数据问题，特别是基于 t-SNE 实现的哈希算法。

    Mar, 2013