AET vs. AED: 通过自编码变换而非数据进行无监督表示学习

CVPRJan, 2019

AET vs. AED: 通过自编码变换而非数据进行无监督表示学习

AET vs. AED: Unsupervised Representation Learning by Auto-Encoding Transformations rather than Data

Liheng Zhang, Guo-Jun Qi, Liqiang Wang, Jiebo Luo

TL;DR本文提出了一种新的无监督表示学习范式，通过自编码变换（AET）而非传统的自编码数据（AED）方法进行训练，使得神经网络可以在没有标注数据的情况下学习。实验结果表明，AET 范式可以实例化一大类变换，具有比现有的无监督方法更好的性能，特别是在 CIFAR-10、ImageNet 和 Places 数据集上表现更接近完全监督对照组的上限。

Abstract

The success of deep neural networks often relies on a large amount of labeled examples, which can be difficult to obtain in many real scenarios. To address this challenge, unsupervised methods are strongly preferred for training neural networks without using any labeled data. In this p

neural networks unsupervised learning representation learning auto-encoding transformations

发现论文，激发创造

通过自编码转换学习广义的变换等变表示

该研究介绍了确定性自编码变换和概率自编码变分变换模型，以从通用转换组中学习视觉表示，并通过最大化学习表示和转换之间的联合互信息来训练 AutoEncoding Variational Transformations 模型，该模型能更加一般性地捕获视觉结构的复杂模式，这将导致广义的 Transformation Equivariant Representations，可以应用到无监督和半监督的场景中。

Jun, 2019

AETv2: 借助李群上的测地距离最小化进行自监督表示学习的自编码转换

提出了一种使用提取自动编码转换的 Lie 群 PG（2）对图像进行表示学习，并通过在旋转群 SO（3）中估计无法计算的黎曼对数的方法来度量变换之间的测地线距离的自监督学习方法（AETv2），在多个任务中表现优于其他最先进的自监督模型。

Nov, 2019

EnAET: 一个基于集成变换的半监督和监督学习自训练框架

本研究提出了一种名为 EnAET 的新型半监督学习框架，在现有半监督方法基础上结合自监督信息作为规则项进一步提高性能，实验证明可以大幅提高当前半监督和有监督学习算法的性能。

Nov, 2019

AVT：自动编码变换的无监督变换等变表示学习

使用自动编码可变换学习，提出了一种通用的、无监督的学习变换等变表示（TERs）的方法，以实现在变换下呈现内在的视觉结构信息，并在实验中取得了非常好的性能表现。

Mar, 2019

无监督文本风格转移的鲁棒和语义组织潜在表示

该研究提出了一种基于 EPAAEs 的方法，通过在连续嵌入空间中添加一个可调整噪音组件来完善扰动模型，从而更好地聚类风格相似的句子，且在文本风格转移任务上表现优异，同时还将文本风格转移任务扩展到 NLI 数据集，并证明了该方法最适合学习具有更复杂风格的数据集。

May, 2022

网络攻击检测中的可分离表示学习双自编码器模型

表示学习对于包括网络攻击检测在内的许多问题的成功起到了关键作用。大多数用于网络攻击检测的表示学习方法基于自动编码器（Auto-Encoder）模型的潜在向量。为了解决这个问题，我们提出了一种新的模型，称为双自动编码器（Twin Auto-Encoder，TAE）。 TAE 确定性地将潜在表示转换为更可区分的表示，即分离表示，并在输出中重构该分离表示。我们广泛评估了 TAE 的有效性，并发现 TAE 在广泛的基准数据集上表现优于最先进的表示学习模型和著名的机器学习算法。此外，TAE 在某些复杂和具有挑战性的攻击上也优于最先进的模型。接下来，我们对 TAE 的各种特性进行了深入研究，以进一步证明其优越性。

Mar, 2024

自我监督序列学习的符号编码

通过最小化重建损失以及监督损失，符号自编码器（ΣAE）利用大量非平行数据和有限的平行数据，通过离散瓶颈层将两个生成模型连接起来，从而在传递任务中显着提高性能，并为弱监督学习场景提供了有希望的解决方案。

Feb, 2024

AE-OT-GAN: 从数据特定的潜在分布训练 GAN

本文提出 AE-OT-GAN 模型，借鉴 AE-OT 模型解决了 GAN 模型生成的图片模式坍塌 / 混合问题，同时生成高质量图像；最终通过潜在分布转换映射生成连续的数据分布。实验证明本文方法在简单的 MNIST 数据集和复杂的数据集（如 Cifar-10 和 CelebA）中效果良好。

Jan, 2020

自监督孪生自编码器

本文提出了一种新的自监督方法 SidAE，将 Siamese 结构和去噪自编码器相结合进行无监督预训练，证明其在多个数据集、设定和场景下优于两个自监督对照组，其中关键包括仅有少量标记数据的情况。

Apr, 2023

ARAE：对抗性训练的自编码器提高了新颖性检测

本文提出了一种新型自编码器，利用对抗鲁棒性来学习更具语义意义的特征以在新颖性检测问题中更好地重建正常数据，并提出奖励惩罚机制以解决自编码器过于泛化的问题，实验证明该方法在三个基准数据集上超越或与最先进的方法相竞争。

Mar, 2020