对抗性动量对比预训练

Dec, 2020

Adversarial Momentum-Contrastive Pre-Training

Cong Xu, Dan Li, Min Yang

TL;DR为了在更小的批次和更少的 epochs 中帮助神经网络学习更强大的特征表示，本文提出了一种新的对抗动量对比学习方法，并引入了对应于干净样本和对抗样本的两个存储器。与以前的对抗性预训练模型相比，该方法在更小的批量和更少的训练 epochs 下实现了更好的性能。此外，该模型在下游分类任务上微调后优于一些最先进的监督防御方法。

Abstract

Recently proposed adversarial self-supervised learning methods usually require big batches and long training epochs to extract robust features, which will bring heavy computational overhead on platforms with limited resources. In order to help the network learn more powerful feature re

adversarial self-supervised learning adversarial momentum contrastive learning memory banks batch size downstream classification

发现论文，激发创造

对抗性对比学习实现的强健预训练

本文探索了对比学习框架中注入对抗扰动的方法，以提高其在无监督下的自我训练的鲁棒性表现。实验表明，该方法可以实现在无标签数据集下的有效增强，从而大幅提升半监督学习的表现。

Oct, 2020

无监督深度神经网络对抗性预训练：过去，现在和未来

本文综述了对抗性预训练的自监督深度网络，包括卷积神经网络和视觉变换器。我们发现现有方法主要分为两组：针对单个样例进行的无内存实例攻击和在迭代中跨样例共享的基于内存的对手。特别地，我们回顾了基于对比学习（CL）和掩码图像建模（MIM）的几个典型的对抗性预训练模型，讨论了计算开销、输入 / 特征级对手以及其他对抗性预训练方法等杂项问题，最后，我们讨论了关于对抗性和协作式预训练之间关系、统一对比度和 MIM 预训练的未来趋势以及在对抗性预训练中准确性和鲁棒性之间的权衡。

Oct, 2022

动量在对抗攻击中的增强

通过加入动量项的迭代方法，提高了对深度学习模型的黑盒攻击成功率，并得到了广泛的应用。

Oct, 2017

从预文本到目的：批自适应自监督学习

本文研究自我监督对比学习中的两个关键因素：批大小和预设任务，并提出了一种自适应的批融合技术，通过降维和重构批数据，使以前孤立的个体数据能够通过嵌入层在批内进行通信，随着训练进行，自适应地增强自我监督特征编码能力。通过在 ImageNet-1k 上进行线性分类测试，实证结果表明我们的方法在公平比较下实现了最先进的性能。在 ImageNet-100 上，相对于原始性能，top1 最多提高了 1.25％。我们认为该方法可能有助于数据驱动的自我监督学习研究的进展，并为该领域带来新的视角。

Nov, 2023

对抗鲁棒性：从自监督预训练到微调

本研究将对抗训练引入自监督学习中，提出了一种通用的具有强健性的预训练模型，可以在提高最终模型的强健性和节省计算成本方面，对后续的微调任务有两种作用。我们进行了大量实验，证明了所提出的框架与传统的对抗训练基线相比，在 CIFAR-10 数据集上可以获得大幅的性能提升。同时，我们发现不同的自监督预训练模型具有不同的对抗性漏洞，并提出了一种集成策略来提高其强健性。

Mar, 2020

AdCo：对抗性对比学习中使用自训练负对手有效学习无监督表示

通过直接学习一组对抗的负样本来提高自我学习表征的对比学习方法，我们的 Adversarial Contrastive (AdCo) 模型得到了更少迭代次数下更出色的性能，线性评估的 Top-1 准确率可以达到 73.2% (200 epochs) 和 75.7% (800 epochs)。

Nov, 2020

增强动量提升对抗转移能力

本文提出了一种增强的动量迭代梯度法，通过将先前迭代中梯度方向的数据点采样的平均梯度积累，稳定更新方向并逃离局部最大值，有效提高了动量迭代梯度法的对抗迁移性能，进一步结合各种输入转换方法可显著提升对抗迁移性能，实验证明平均提高 11.1%。同时，在集成模型设置下攻击多种尝试性高的防御模型，达到 7.8% 的显著提高。

Mar, 2021

自监督方法提高对抗性鲁棒性

本文首次提出了一种自我监督的对抗训练机制，在输入空间中防御对抗性攻击，并提供极大的鲁棒性，可以作为即插即用的解决方案来保护各种视觉系统，包括分类、分割和检测，同时极大降低了未知攻击的成功率。

Jun, 2020

蒸馏增强的时间序列预测网络与动量对比学习

我们提出了 DE-TSMCL，这是一个创新的蒸馏增强框架，用于长序列时间序列预测，通过设计可学习的数据增强机制、提出具有动量更新的对比学习任务以及设计监督任务，联合优化多个任务，从而学习下游预测任务的有效表示，实验证明了 DE-TSMCL 的有效性，最大的改进达到 27.3%。

Jan, 2024

走向鲁棒图形对比学习

本文提出了一个新的方法，通过增加对抗性转换和边缘插入的方式来增加学到的表征的对抗鲁棒性，旨在将鲁棒性作为图对比学习中的可行辅助任务。初始实验结果表明该方法具有很好的前景。

Feb, 2021