Apr, 2023

通过对抗不变量正则化提升对抗对比学习

PDF
TL;DR本论文通过采用因果推理技术提出了一种对抗不变正则化（AIR）的方法，使 ACL 学习到的强鲁棒表示具有独立于样式的特性，并结合 SIR 形成一个加权和为 IR 的方法，理论上证明 AIR 可以鼓励对抗数据的预测和一致性与自然数据不受数据增强的影响而呈现独立性，并表明 ACL 学习到的鲁棒表示的 style-independence 属性在下游任务中仍然成立。
adversarial contrastive learninginvariant regularizationrobust representationstyle-independencecausal reasoning
发现论文，激发创造
  • 对抗图对比学习与信息规则化

    本文提出了对抗图对比学习（ARIEL）的简单有效方法，通过引入对抗图视角和信息正则化来从图中提取有用的对比性样本，并在多个真实世界数据集的节点分类任务中稳定地胜过当前图对比学习方法并进一步提高了其鲁棒性。

    Feb, 2022

  • 对抗性对比学习实现的强健预训练

    本文探索了对比学习框架中注入对抗扰动的方法，以提高其在无监督下的自我训练的鲁棒性表现。实验表明，该方法可以实现在无标签数据集下的有效增强，从而大幅提升半监督学习的表现。

    Oct, 2020

  • 重新思考对抗训练中的不变性正则化以改善鲁棒性与准确性权衡

    通过非对比自监督学习的启发，我们提出了一种称为 AR-AT 的不对称表示正则化对抗训练方法，结合了梯度冲突解决和解决混合分布问题的方法，显著改善了鲁棒性 - 准确性的平衡，并讨论了这些发现与基于知识蒸馏的防御方法之间的相关性。

    Feb, 2024

  • ArCL：通过增强鲁棒性表示来增强对比学习

    本文开发了一个理论框架以分析自我监督对比学习的可转移性，结果表明对比学习的下游表现在很大程度上取决于数据增强的选择，但对比学习无法学习域不变特征，即其可转移性受到限制。基于这些理论洞见，我们提出了一种新的方法 ArCL，它保证学习域不变特征，并可以轻松地与现有的对比学习算法集成。我们在几个数据集上进行实验，显示了 ArCL 显着提高了对比学习的可转移性。

    Mar, 2023

  • 通过等变表示的对比学习

    提出了一种新的基于等变性的对比学习（ECL）框架 CLeVER，兼容各种主流对比学习方法和模型框架的任意复杂的增强策略，并通过从数据中提取和整合等变信息，提高了基线模型在后续任务中的训练效率和鲁棒性。

    Jun, 2024

  • 非线性不变风险最小化：一种因果方法

    提出了一种不变因果表示学习 (iCaRL) 方法，通过利用广义指数族分布得出数据表示，可以在非线性场景中实现超出分布的泛化，并发现目标的全部直接原因，针对合成和真实数据集提出性能优于基线方法的实验结果。

    Feb, 2021

  • 自监督对抗鲁棒性分离式对抗性对比学习

    本研究提出了 Decoupled Adversarial Contrastive Learning (DeACL) 框架，将 Adversarial Training 和 Self-supervised Learning 分为两个子问题分别处理，使学习无标签鲁棒表示更加简化和高效，并在实验中取得了业界领先的表现。

    Jul, 2022

  • PointACL: 对抗对比学习用于抵抗对抗攻击的鲁棒点云表征

    本文提出了一种新的方法，在对比学习框架中利用未投影特征表示进行虚拟对抗损失生成高质量 3D 对抗样本，提出了一个稳健感知损失函数来通过对抗方式训练自我监督对比学习框架，并发现使用 Difference of Normal（DoN）操作器选择高差异点作为对抗自我监督对比学习的额外输入，可以显著提高预训练模型的对抗鲁棒性。

    Sep, 2022

  • 学习噪声不变表示以实现稳健语音识别

    本文提出了一种建议将干净示例和其表面扰动的对应物不仅映射到相同类别，而且映射到相同表示的不变表示学习（IRL）方法，该方法通过数据扩充有效地减少字符错误率，特别是在不同于训练期间所见的若干场景上。

    Jul, 2018

  • 使用逆对比损失学习不变表示

    使用反对比损失、正则化 MMD 分散度等技巧，提出了一种用于学习不受干扰的不变表示的新算法，适用于二元和连续干扰变量。

    Feb, 2021