CAPT: 对比性预训练学习去噪序列表示

Oct, 2020

CAPT: 对比性预训练学习去噪序列表示

CAPT: Contrastive Pre-Training for Learning Denoised Sequence Representations

Fuli Luo, Pengcheng Yang, Shicheng Li, Xuancheng Ren, Xu Sun

TL;DR提出了 ContrAstive Pre-Training (CAPT) 来学习抗干扰的序列表示，这种方法通过无监督的实例训练信号来鼓励原始序列的表示和其被污染版本的表示之间的一致性，从而既缓解了先训练的噪声引起的误差，也提高了模型对输入全局语义的捕获能力。

Abstract

Pre-trained self-supervised models such as BERT have achieved striking success in learning sequence representations, especially for natural language processing. These models typically corrupt the given sequences with certain types of noise, such as masking, shuffling, or substitution,

self-supervised models contrastive pre-training noise invariant sequence representations global semantics natural language understanding

发现论文，激发创造

对敌对提示调整的鲁棒泛化问题的重新审视

通过多模态提示学习来提高图像和文本特征的对齐度，利用预训练的 CLIP 强大的泛化能力，引导模型在对抗性示例上增强鲁棒泛化能力，同时在干净示例上保持准确性。

May, 2024

使用对比双向变换器学习视频表示

本文提出了一种自监督学习方法，用于视频特征，与现有方法相比在下游任务中表现显著提高，通过将文本序列的 BERT 模型扩展到实值特征向量序列的情况，以噪声对比估计取代 softma 损失函数，同时展示了如何从可视特征序列和 ASR 派生的词序列中学习表示，并且表明这样的跨模态训练可以进一步提高性能。

Jun, 2019

SupCL-Seq: 下游优化序列表示的有监督对比学习

本文介绍了 SupCL-Seq，这是一种扩展了计算机视觉中的监督对比学习方法，应用于优化自然语言处理中的序列表示。通过改变标准 Transformer 架构中的 dropout 掩码概率，在每个表示（锚）上生成增强的变形视图，并使用监督对比损失来最大化系统将相似样本（例如，锚和它们的变形视图）拉拢在一起并将属于其它类别的样本推开的能力。相较于标准 BERTbase 模型，在 GLUE 基准测试中的许多序列分类任务中取得了显著提升，包括 CoLA 上的 6％、MRPC 上的 5.4％、RTE 上的 4.7％和 STSB 上的 2.6％，特别是在非语义任务中，相对于自监督对比学习表示也表现出了一致增长。最后，我们展示了这些增益并不仅仅是由于数据增广，而是由于下游优化的序列表示。

Sep, 2021

使用带噪文本监督扩展视觉和视觉语言表示学习

本文利用包含超过 10 亿个图像备选文本对的嘈杂数据集，采用简单的双编码器体系结构通过对比损失，学习了图像和文本对的视觉和语言表示，显示出我们语料库的规模可以弥补其噪音，即使使用这样的简单学习方案也能实现最先进的表现，使跨模式搜索变得更加容易。

Feb, 2021

从密集到稀疏：对比剪枝用于更好的预训练语言模型压缩

我们提出了一种名为 ContrAstive Pruning（CAP）的模型压缩框架，它保留了先前模型的任务不可知知识和任务特定知识，并证明了该方法在极高稀疏度情况下均能显著提高模型性能。

Dec, 2021

BART：自然语言生成、翻译和理解的去噪序列到序列预训练

BART 是一种预训练序列到序列模型的去噪自编码器，通过使用 Transformer 架构，并使用一些创新方法，如随机调换原始数据序列的顺序和填充原始数据中的实体，使得 BART 在文本生成、理解任务以及抽象对话等方面性能表现出色，超越了 RoBERTa，并提供了 1.1 个 BLEU 的机器翻译增量。

Oct, 2019

轻量级对比蛋白质结构序列变换

本文提出了一种用于蛋白质结构表示预训练的新型无监督方法，该方法利用现有的预训练语言模型通过无监督的对比对齐指导结构模型的学习，并提出了一种自监督的结构约束来进一步学习结构的内部信息。实验结果表明，该方法的性能在多个任务和特定数据集上均表现出卓越的优越性。

Mar, 2023

NAT: 受噪声影响的训练用于强健神经序列标记

本文提出了两种噪声感知训练对象来提高对受干扰输入的序列标记的鲁棒性，一种是使用混合干净和嘈杂样本的数据增强方法来训练神经模型，另外一种是通过稳定性训练算法鼓励模型生成噪声不变的潜在表示，实验结果证实，这种方法能够提高流行的序列标记模型的鲁棒性，保持原始输入的准确性。

May, 2020

NLIP: 噪声鲁棒性语言 - 图像预训练

本文提出了一种基于噪声抵抗的语言 - 图像预训练框架（NLIP），通过噪音协调和噪音补全两种方案来自动稳定预训练，以更有效地减轻图像文本预训练期间的常见噪声影响。通过协同优化噪音协调和噪音补全方案，NLIP 在零样本分类、MSCOCO 图像字幕和零样本图像文本检索任务上，仅使用 26M 数据就显示出与现有预训练模型（如 CLIP、FILIP 和 BLIP）相比的显着性能提高。

Dec, 2022

通过预测噪音实现无监督学习

本文介绍了一种通用的框架，用于在没有监督的情况下对深度网络进行端对端训练，通过固定一组目标表示并约束其深度特征对齐到这些表示来达到目的，同时采用了随机批量重新分配策略和可分离的平方损失函数来缓解标准无监督学习中的一些问题，并且在 ImageNet 和 Pascal VOC 上能够实现与最先进的无监督方法相媲美的表现。

Apr, 2017