Jun, 2019

通过自编码转换学习广义的变换等变表示

PDF
TL;DR该研究介绍了确定性自编码变换和概率自编码变分变换模型，以从通用转换组中学习视觉表示，并通过最大化学习表示和转换之间的联合互信息来训练 AutoEncoding Variational Transformations 模型，该模型能更加一般性地捕获视觉结构的 复杂模式， 这将导致广义的 Transformation Equivariant Representations，可以应用到无监督和半监督的场景中。
发现论文，激发创造
  • AVT：自动编码变换的无监督变换等变表示学习

    使用自动编码可变换学习，提出了一种通用的、无监督的学习变换等变表示（TERs）的方法，以实现在变换下呈现内在的视觉结构信息，并在实验中取得了非常好的性能表现。

    Mar, 2019

  • GraphTER：通过节点变换自编码无监督学习图变换等变表示

    本研究介绍了一种无监督学习的图变换等变表示（GraphTER）方法，可以有效地从 3D 点云数据中捕捉全局和局部变换下的图形结构，与现有的无监督方法相比表现更好，且可扩展用于其他数据集。

    Nov, 2019

  • AET vs. AED: 通过自编码变换而非数据进行无监督表示学习

    本文提出了一种新的无监督表示学习范式，通过自编码变换（AET）而非传统的自编码数据（AED）方法进行训练，使得神经网络可以在没有标注数据的情况下学习。实验结果表明，AET 范式可以实例化一大类变换，具有比现有的无监督方法更好的性能，特别是在 CIFAR-10、ImageNet 和 Places 数据集上表现更接近完全监督对照组的上限。

    Jan, 2019

  • 等变换器网络

    使用具有等变性函数的规范坐标系构建了一种不同 iable 的图像到图像映射，称为 ET（Equivariant Transformers），并证明了它能够在提高模型强健性方面进行灵活组合，从而使得在现实世界的图像分类任务中，相对于 ResNet 分类器，ET 能够在数据有限情况下提高最多 15% 的分类效果而只增加不到 1% 的模型参数。

    Jan, 2019

  • AETv2: 借助李群上的测地距离最小化进行自监督表示学习的自编码转换

    提出了一种使用提取自动编码转换的 Lie 群 PG（2）对图像进行表示学习，并通过在旋转群 SO（3）中估计无法计算的黎曼对数的方法来度量变换之间的测地线距离的自监督学习方法（AETv2），在多个任务中表现优于其他最先进的自监督模型。

    Nov, 2019

  • 无监督学习群不变和等变表示

    本文针对深度学习的无监督学习，将群不变和群等变表示学习扩展到了该领域。我们提出了一种基于编码器 - 解码器框架的通用学习策略，其中潜在表示被分为不变项和等变群作用项。在利用预测适当的群作用来对齐输入和输出姿势以解决重建任务时，网络可以学习将数据编码和解码为群不变表示。我们导出依变编码器的必要条件，并针对旋转，平移和置换明确描述了我们的构造。我们在不同网络架构下使用不同数据类型进行各种实验，测试了我们方法的有效性和鲁棒性。

    Feb, 2022

  • 变换编码：等变表示的简单目标

    通过简单的目标函数实现深度表示学习的同变深度嵌入，使用不同 Lie 群的变换编码目标实现表示的分解和解缠缠绕，并应用于各种下游任务，包括强化学习。

    Feb, 2022

  • 多样化回复生成的变分 Transformer

    本文提出了变分 Transformer（VT）算法，将变分自注意力前馈序列模型与 CVAE 的变分性质相结合，从而有效处理对话响应生成领域中高熵任务的问题，并在多个对话数据集上获得了性能提升。

    Mar, 2020

  • 基于分组学习的去耦合表示学习方法，具有对新领域具有良好的泛化能力

    本研究提出了一种基于组的变分自编码器模型，能够从多个数据集中无需标签的情况下，对数据进行解耦，并将其分为内容因素与变化因素，从而实现变换不变性和内容泛化能力。

    Sep, 2018

  • VTAE: 变分转换自编码器与流形学习

    提出了一种变分空间转换自编码器（VTAE），通过在 Riemann 流形上最小化测地线来改善表征学习，并提高计算机视觉任务的预测准确性和适用性，包括图像插值和重构。

    Apr, 2023