May, 2023

通过流形平展和重构进行表示学习

PDF
TL;DR本研究提出了一种算法，可从流形数据样本中构建一对神经网络，以实现流形的线性化和重建，这些网络被称为 Flattening Networks（FlatNet），能够在理论上解释，可在大规模上可行，且在测试数据上具备很好的泛化能力，在高维流形数据和二维图像数据上进行了实证结果和比较，代码已公开发布。
发现论文，激发创造
  • 使用 K-Means 和 K-Flats 学习浸入式流形

    本文研究了从随机样本中估计流形的问题，并分析了由 k 均值和 k - 平面诱导的分段常数和分段线性估计器的性能。还扩展了先前对 k 均值的结果，提供了 k - 均值重建流形的新结果，并为高阶逼近（k - 平面）证明了重建界限。

    Sep, 2012

  • 基于神经网络的局部深度学习实现

    本文介绍了一种新的深度神经网络方法，用于局部流形学习，重点关注三个隐藏层的深度网络，通过对样本点数量进行回归，得出正则化 $s$ 的近似度量，实现了维度降低和误差消除。

    Mar, 2018

  • 神经隐式流形学习在拓扑感知生成建模中的应用

    本论文提出一种通过神经隐式流来表示数据流形分布的方法，称为神经隐式流分布。为了解决基于前向模型的限制，引入了约束能量模型，该方法使用约束的 Langevin 动力学来训练和采样，能比前向模型更精确地学习复杂拓扑结构的流形支持分布，并允许将模型流形的并集和交集进行运算。

    Jun, 2022

  • 混合流形学习：通过插值隐藏状态获得更好的表示

    Manifold Mixup 是一种正则化方法，有助于训练神经网络在多个隐藏层级别上具有更平滑的决策边界，并提高其对单步对抗攻击的鲁棒性和测试日志似然率。

    Jun, 2018

  • 局部流形学习的深度网络

    本文提出了一种基于深度学习的算法，用于在未知流形中函数的扩展问题上。该算法使用多层神经网络和局部坐标系统来实现函数近似，同时保证输出的误差范围与目标函数的导数数量成正比，并在不需要目标函数的光滑性的情况下自动调整精度。

    Jul, 2016

  • 神经网络中从损失平坦性到压缩表示的简单连接

    深度神经网络的泛化能力在参数空间的损失景观形状和特征空间（即单位活动的空间）的表示流形结构两个不同的方法中已经被研究，但很少一起研究并显式连接。我们提出了一个简单的分析，建立了它们之间的联系，并展示了表明在深度神经网络的学习的最后阶段，神经表示流形的体积压缩与参数优化过程中所探索的最小值周围的损失的平坦性相关的结果。

    Oct, 2023

  • 流形学习的规范正则化流模型

    通过学习具有少量维度流形的生成建模技术，提出一种新的建模流方法，实现了对数据的高效表示，从而更好地近似目标分布并产生较低的 FID 分数。

    Oct, 2023

  • 在 Grassmann 流形上构建深度神经网络

    本文提出了一种将欧几里得网络范例泛化到 Grassmann 流形的深度网络体系结构，利用完全秩映射层将输入数据转换为更理想的数据，利用再正则化层对结果矩阵进行规范化，利用投影映射层使结构数据进行更新，并在三个视觉识别任务中的评估显示出 Grassmann 网络具有明显优势。

    Nov, 2016

  • 潜在图像流形的数据表示研究

    本文探究了图像流形的曲率，发现卷积神经网络在分类任务中的整体曲率表现具有特殊的特点，即初始速度的加速，接着进入了一个较长的平稳期和之后的再加速。此外，我们发现最后两层图层的曲率缺口与网络的泛化能力有很强的相关性，并观察到常见的正则化方法，如 mixup，在相比其他方法时，呈现出更平的表示特征。

    May, 2023

  • 使用深度神经网络学习不变的黎曼几何表征

    本文提出了一种面向流形训练深度神经网络的通用框架，利用切空间和指数映射，将最终输出元素在 Riemann 流形上的深度神经网络的训练问题转化为当前深度学习研究的问题，在多类图像分类和人脸图像回归上显示出改进后的性能。

    Aug, 2017