May, 2024

通过教师集合的适应性知识融合进行对抗训练

PDF
TL;DR通过教师集合的知识自适应融合，以解决深度神经网络在对抗样本训练中的两个问题：在小模型中实现稳健性和对未知攻击类型的脆弱性。
adversarial trainingrobust deep neural networksensemble of teachersgeneralized-robust studentadversarial attacks
发现论文，激发创造
  • 通过对抗训练增强知识追踪

    本文探讨深度神经网络在知识追踪模型上可能出现的过拟合问题，提出了基于对抗训练的知识追踪模型 (ATKT)，其中应用了注意力机制以提高模型的精度和泛化性能，针对四个公共基准数据集进行了大量实验，获得了新的最佳表现。

    Aug, 2021

  • 对抗分布式训练用于强健深度学习

    本文提出了一种新的模型训练框架 - 对抗分布式训练（ADT），通过最小值最大化优化问题，训练模型来学习处理各种威胁。ADT 的有效性也在几个基准测试中得到了验证。

    Feb, 2020

  • 针对视频分类的对抗训练分析与扩展

    本文提出了三种防御方法来增强对多种攻击类型的鲁棒性，包括自适应防御技术 Adaptive AT，课程式防御技术 Curriculum AT 和将 AT 与去噪生成对抗网络相结合的生成式防御技术 Generative AT，并在 UCF101 数据集上进行了实验。

    Jun, 2022

  • A3T：对抗性增强的对抗性训练

    本文介绍了一种通过强制表示不变性来提高深度神经网络对抗攻击鲁棒性的方法，并比较其与其他标准对抗训练方法的可行性。

    Jan, 2018

  • 广泛深度神经网络的鲁棒过拟合的理论分析：一种 NTK 方法

    深度神经网络的对抗训练存在鲁棒过拟合问题，本文通过理论分析提出了神经切线核理论在对抗训练中的扩展，并证明了经过对抗训练的宽深度神经网络可以很好近似为一个线性化的神经网络；进一步，设计了用于无限宽度深度神经网络的对抗训练算法 Adv-NTK，实验证明 Adv-NTK 能够使无限宽度深度神经网络提高鲁棒性。

    Oct, 2023

  • 多上下文联合实体和关系抽取的对抗训练

    本文介绍了一种名为对抗训练的正则化方法，利用该方法可以通过在训练数据中添加微小扰动，提高神经网络方法的稳健性，并演示如何将其应用于实体识别和关系提取等任务，以提高不同上下文（如新闻、生物医学和房地产数据）和不同语言（如英语和荷兰语）的数据集的效果。

    Aug, 2018

  • 具有可迁移性对抗样本的有效对抗训练

    该研究论文介绍了新型对抗训练方法 ATTA，利用同一训练进程中相邻时期的模型具有高可转移性的特点，通过积累对抗扰动来增强训练模型的鲁棒性，并显著提高训练效率。相较于最先进的对抗训练方法，ATTA 在 CIFAR10 数据集上能提高 7.2% 的对抗准确性，在 MNIST 和 CIFAR10 数据集中只需 12-14 倍的训练时间就可以达到可比的模型鲁棒性。

    Dec, 2019

  • 引入自适应连续对抗训练（ACAT）以增强机器学习的鲁棒性

    连续自适应对抗训练（ACAT）不断地将对抗训练样本整合到模型中，使用实际检测到的对抗数据，增强模型对不断演变的对抗威胁的抵抗能力，同时减轻灾难性遗忘，并降低了对抗样本检测所需的总时间。

    Mar, 2024

  • 通过对抗训练实现稳健的多语言词性标注

    本文探讨基于对抗性训练的模型对自然语言处理任务的影响，发现对抗性训练不仅可以提高深度学习模型的鲁棒性，还能对词性标注和依存句法分析等任务有积极的影响。

    Nov, 2017

  • 用神经切线核重新思考对抗训练

    本文使用神经切线核（NTK）对敌对训练（AT）过程和性质进行了深入研究，揭示了数据归一化对 AT 的影响以及批归一化层中无偏估计器的重要性，并通过实验探索了内核动力学和提出了更节省时间的 AT 方法，同时利用内核内的频谱特征解决了灾难性过拟合问题。据我们所知，这是首个利用内核动力学观察改进现有 AT 方法的研究。

    Dec, 2023