Nov, 2019

AETv2: 借助李群上的测地距离最小化进行自监督表示学习的自编码转换

PDF
TL;DR提出了一种使用提取自动编码转换的 Lie 群 PG（2）对图像进行表示学习，并通过在旋转群 SO（3）中估计无法计算的黎曼对数的方法来度量变换之间的测地线距离的自监督学习方法（AETv2），在多个任务中表现优于其他最先进的自监督模型。
发现论文，激发创造
  • AET vs. AED: 通过自编码变换而非数据进行无监督表示学习

    本文提出了一种新的无监督表示学习范式，通过自编码变换（AET）而非传统的自编码数据（AED）方法进行训练，使得神经网络可以在没有标注数据的情况下学习。实验结果表明，AET 范式可以实例化一大类变换，具有比现有的无监督方法更好的性能，特别是在 CIFAR-10、ImageNet 和 Places 数据集上表现更接近完全监督对照组的上限。

    Jan, 2019

  • 通过自编码转换学习广义的变换等变表示

    该研究介绍了确定性自编码变换和概率自编码变分变换模型，以从通用转换组中学习视觉表示，并通过最大化学习表示和转换之间的联合互信息来训练 AutoEncoding Variational Transformations 模型，该模型能更加一般性地捕获视觉结构的 复杂模式， 这将导致广义的 Transformation Equivariant Representations，可以应用到无监督和半监督的场景中。

    Jun, 2019

  • 学习李群变换的非监督算法

    该论文提出了一种方法，可以将 Lie 群适配到高维数据集上，通过一个特定的模糊算子使推理可以逃脱局部最小值，鼓励发现稀疏的、最小距离的状态之间的变换，同时演示了如何在自然图像补丁和自然视频序列上进行变换学习和推理。

    Jan, 2010

  • VTAE: 变分转换自编码器与流形学习

    提出了一种变分空间转换自编码器（VTAE），通过在 Riemann 流形上最小化测地线来改善表征学习，并提高计算机视觉任务的预测准确性和适用性，包括图像插值和重构。

    Apr, 2023

  • AVT：自动编码变换的无监督变换等变表示学习

    使用自动编码可变换学习，提出了一种通用的、无监督的学习变换等变表示（TERs）的方法，以实现在变换下呈现内在的视觉结构信息，并在实验中取得了非常好的性能表现。

    Mar, 2019

  • 在编码神经网络潜空间中表示闭合变换路径

    本文使用生成流形模型改变自编码器的潜在空间，以适应数据中的低维流形结构并学习复杂系统的潜在动态，生成转换路径并对属于同一转换路径的样本进行分类。

    Dec, 2019

  • 旋转平移的李群上的最优输运

    在这篇论文中，我们针对 SE2 提出了一种计算框架，用于李群中的最优输运，并报告了在图像重心、平面方向场插值和 SE2 上的 Wasserstein 梯度流方面的宝贵进展。

    Feb, 2024

  • 切片 - 瓦热斯坦自编码器：一种尴尬地简单的生成模型

    本文介绍了一种新的基于 Sliced-Wasserstein Autoencoders (SWAE）的生成模型，使用最优输运（Optimal Transport，OT）问题和 Wasserstein 距离。通过在自编码损失中加入 sliced-Wasserstein 距离，可以将潜在空间的分布形状成任何可取样的概率分布，同时避免了训练对抗网络或定义分布的需要。我们证明了这种方法具有类似于 Wasserstein Autoencoders （WAE）和 Variational Autoencoders（VAE）的能力，而且实现简单高效。

    Apr, 2018

  • 变换编码：等变表示的简单目标

    通过简单的目标函数实现深度表示学习的同变深度嵌入，使用不同 Lie 群的变换编码目标实现表示的分解和解缠缠绕，并应用于各种下游任务，包括强化学习。

    Feb, 2022

  • 自我监督序列学习的符号编码

    通过最小化重建损失以及监督损失，符号自编码器（ΣAE）利用大量非平行数据和有限的平行数据，通过离散瓶颈层将两个生成模型连接起来，从而在传递任务中显着提高性能，并为弱监督学习场景提供了有希望的解决方案。

    Feb, 2024