结合去噪自编码器与对比学习来微调 Transformer 模型

May, 2024

结合去噪自编码器与对比学习来微调 Transformer 模型

Combining Denoising Autoencoders with Contrastive Learning to fine-tune Transformer Models

Alejo Lopez-Avila, Víctor Suárez-Paniagua

TL;DR使用大型预训练 Transformer 模型进行迁移学习任务已经成为自然语言处理（NLP）领域的主要趋势之一，本论文提出了一种三阶段技术来调整基础模型以适应分类任务。

Abstract

Recently, using large pretrained transformer models for transfer learning tasks has evolved to the point where they have become one of the flagship trends in the Natural Language Processing (NLP) community, givin

transformer models transfer learning natural language processing (nlp)3 phase technique classification task

发现论文，激发创造

通过去噪引导潜在表示的文本自编码器教育

本文介绍了一种通过利用生成自编码器的潜在句子表示来实现可控制文本生成的方法。作者提出了一种改进自动编码器的方法，被称为 DAAE，该方法可以在维持生成质量的同时，提高模型中的潜在空间几何性，从而实现了通过简单潜在向量算术进行全零文本风格转换。

May, 2019

使用 GNN 去噪自编码器生成分类权重以进行小样本学习

该论文旨在发展元模型用于少样本学习，该模型利用 Denosing Autoencoder 网络和 Graph Neural Network 来适应新类别，并在 ImageNet 等测试基准上取得了强有力的结果。

May, 2019

去噪对抗自编码器

该研究论文介绍了一种结合去噪和正则化的对抗性自编码器方法，用于学习用于推理的有用表示，并通过实验验证其对于分类性能和样本合成的贡献。

Mar, 2017

对比变分自编码器增强显著特征

本文介绍了一种结合对比学习和深度生成模型的对比变分自编码器 (cVAE)，旨在通过训练共享特征和不同特征的模型来发现和增强突出的潜在特征。实验表明，cVAE 可以有效地发现在特定分析中显著的潜在结构。

Feb, 2019

去噪自编码器中的横向连接支持监督学习

本研究提出了一种基于深度去噪自编码器和横向连接的无监督辅助学习模型，通过反向传播同时最小化监督和无监督成本函数的总和，避免了逐层预训练，显著提高了排列不变 MNIST 分类任务的效果。

Apr, 2015

精细对比学习用于定义生成

本文提出一种新型对比学习方法，以有效地学习和表达所考虑词语的语义组成部分，并使模型在进行定义生成任务时，能够生成更具体、高质量的定义，实验证明该方法优于现有模型。

Oct, 2022

用去噪自编码器进行无监督自然语言生成

使用去噪自编码器对有噪声的结构化数据进行训练，能够在自然语言生成的任务上取得比监督学习更高的性能表现。

Apr, 2018

利用去噪自编码器进行对抗净化

该研究提出了一种名为 APuDAE 的深度学习框架，利用去噪自编码器（DAE）以自适应方式净化样本，并提高目标分类器网络的分类准确度并使其更加鲁棒。

Aug, 2022

CoDA: 自然语言理解的对比增强和多样性促进数据增强

本文提出了一种名为 CoDA 的新型数据增强框架，通过整合多种转换方法，试图解决文本数据增强中的标签保留问题。实验表明，CoDA 架构在多种自然语言理解任务中平均提高了 2.2% 的效果，相较其他基线方法表现更强

Oct, 2020

噪声时间序列的去噪感知对比学习

时间序列自监督学习的噪声消除方法及其对比学习目标选择适合的降噪方法，以提高表示的准确性。

Jun, 2024