Mar, 2024

针对对抗样本安全地微调预训练编码器

PDF
TL;DR通过采用遗传进化培育的对抗微调方法（Gen-AF），本文提出了一种两阶段的对抗微调方法，旨在增强下游模型的鲁棒性，实验证明该方法在十种自监督训练方法和六个数据集上对最先进的对抗示例具有高测试准确性和鲁棒测试准确性。
self-supervised learningpre-training paradigmadversarial examplesdownstream modelsgenetic evolution-nurtured adversarial fine-tuning (gen-af)
发现论文，激发创造
  • 下游无关对抗样本

    该论文提出了 AdvEncoder，这是第一个基于预训练编码器生成无下游限制通用对抗样本的框架，在只输出特征向量而非分类标签的情况下，通过高频成分信息和生成式攻击框架构造对抗性扰动 / 补丁来攻击下游任务。实验证明，攻击者可以成功地攻击下游任务，而不需要了解预训练数据集或下游数据集。

    Jul, 2023

  • 对抗鲁棒性：从自监督预训练到微调

    本研究将对抗训练引入自监督学习中，提出了一种通用的具有强健性的预训练模型，可以在提高最终模型的强健性和节省计算成本方面，对后续的微调任务有两种作用。我们进行了大量实验，证明了所提出的框架与传统的对抗训练基线相比，在 CIFAR-10 数据集上可以获得大幅的性能提升。同时，我们发现不同的自监督预训练模型具有不同的对抗性漏洞，并提出了一种集成策略来提高其强健性。

    Mar, 2020

  • 利用去噪自编码器进行对抗净化

    该研究提出了一种名为 APuDAE 的深度学习框架，利用去噪自编码器（DAE）以自适应方式净化样本，并提高目标分类器网络的分类准确度并使其更加鲁棒。

    Aug, 2022

  • 无监督预训练的泛化能力研究

    运用一种新的理论框架，研究无监督预训练对细调模型泛化能力的影响，并通过分析两个具体场景的泛化上限，提出了一种新的预训练正则化方法，从而促进了细调模型的泛化能力。

    Mar, 2024

  • 鲁棒性可转移特征提取器：学习防御白盒对抗下的预训练网络

    本研究提出了一种名为 Robust Transferable Feature Extractor（RTFE）的深度学习先处理机制，该机制可在多个独立训练的分类器中提供对抗鲁棒性，并且可以为不同数据集独立训练的模型提供一次性的对抗鲁棒性。

    Sep, 2022

  • 组合微调：冻结预训练去噪自编码器以提高泛化性能

    探讨结构化输出的预测问题，研究在输出有效性限制约束情境下的预测，推荐使用先进行预训练再进行 fine-tuning 的方法，可以通过控制预测器的复杂性以提高其在未知数据上的表现。

    Jun, 2020

  • 面向对抗样本具鲁棒性的深度神经网络架构

    该研究论文研究了深度神经网络的鲁棒性问题，特别是针对对抗样本的攻击。通过探索神经网络的结构，拓扑结构，预处理和训练策略等方面来提高深度神经网络的抗干扰能力，并且通过引入平滑性惩罚来提高其稳健性。

    Dec, 2014

  • 通过特征空间微调提升有针对性的可迁移性

    在这篇论文中，通过在特征空间进行微调，我们提出了一种解决针对未知模型的有针对性对抗样本（AE）传递性问题的方法，实验证明简单的迭代攻击可以产生与资源密集型方法相媲美甚至更好的传递效果。

    Jan, 2024

  • 结合去噪自编码器与对比学习来微调 Transformer 模型

    使用大型预训练 Transformer 模型进行迁移学习任务已经成为自然语言处理（NLP）领域的主要趋势之一，本论文提出了一种三阶段技术来调整基础模型以适应分类任务。

    May, 2024

  • 通过对抗训练学习隐私保护编码

    本研究提出一种框架，使用自然对抗优化的方法，通过训练编码器与私密属性分类器作为深度神经网络，在维护实用性的同时，抑制隐私属性的推理，本文的关键贡献是提出了一种稳定且收敛的优化方法，使得分类器不能够准确地预测私密属性，实验结果表明该方法能够对实际场景中的高维编码实现隐私保护。

    Feb, 2018