Dec, 2023

用神经切线核重新思考对抗训练

PDF
TL;DR本文使用神经切线核（NTK）对敌对训练（AT）过程和性质进行了深入研究，揭示了数据归一化对 AT 的影响以及批归一化层中无偏估计器的重要性，并通过实验探索了内核动力学和提出了更节省时间的 AT 方法，同时利用内核内的频谱特征解决了灾难性过拟合问题。据我们所知，这是首个利用内核动力学观察改进现有 AT 方法的研究。
adversarial trainingdeep learning securityneural tangent kerneldata normalizationkernel dynamics
发现论文，激发创造
  • 在良性和对抗训练下的神经切向核演化

    本文研究了有关深度学习的两个问题：对抗攻击与深度学习的泛化能力。以 Neural Tangent Kernel（NTK）为主要理论，探究有限宽度下的 kernel learning 与 lazy training，结果表明标准训练与对抗训练会有不同的 NTK，最终可以得到一个在 CIFAR-10 数据集上具有 76.1% 鲁棒性的分类器。

    Oct, 2022

  • 广泛深度神经网络的鲁棒过拟合的理论分析：一种 NTK 方法

    深度神经网络的对抗训练存在鲁棒过拟合问题，本文通过理论分析提出了神经切线核理论在对抗训练中的扩展，并证明了经过对抗训练的宽深度神经网络可以很好近似为一个线性化的神经网络；进一步，设计了用于无限宽度深度神经网络的对抗训练算法 Adv-NTK，实验证明 Adv-NTK 能够使无限宽度深度神经网络提高鲁棒性。

    Oct, 2023

  • 循环神经切向核

    本文介绍并研究了循环神经切线核（RNTK）的性能，证明其能够比其他内核提供更好的性能表现，尤其在处理不同长度输入的情况下表现良好。

    Jun, 2020

  • 神经切向核方法的神经网络修正

    使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。

    Jul, 2020

  • 从实际角度揭秘神经切向核：在不进行训练的情况下，它是否可供神经架构搜索信赖？

    本研究提出了基于 Label-Gradient Alignment（LGA）的新型 NTK 度量方法，通过少量训练，LGA 能够可靠且准确地估计神经结构的性能，并能指导现有的搜索算法以更小的搜索成本实现具有竞争性的搜索性能。

    Mar, 2022

  • 通过对抗训练增强知识追踪

    本文探讨深度神经网络在知识追踪模型上可能出现的过拟合问题，提出了基于对抗训练的知识追踪模型 (ATKT)，其中应用了注意力机制以提高模型的精度和泛化性能，针对四个公共基准数据集进行了大量实验，获得了新的最佳表现。

    Aug, 2021

  • 神经正切核：神经网络的收敛性和泛化性

    本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。

    Jun, 2018

  • 等变神经切向核

    本文首次将等变神经网络和神经切向核相结合，给出了群卷积神经网络的神经切向核的显式表达式，并在医学图像分类任务上通过数值实验证明了等变神经切向核的优越性能。

    Jun, 2024

  • 通过草图和随机特征扩展神经切向核规模

    该研究提出了一种近似算法，旨在加速使用神经切向核的大规模学习任务，并结合随机特征，通过谱逼近保证精度。实验结果表明，其线性回归器可在 CIFAR-10 数据集上达到与全精度模型相当的准确度，同时提高了 150 倍的速度。

    Jun, 2021

  • 通过教师集合的适应性知识融合进行对抗训练

    通过教师集合的知识自适应融合，以解决深度神经网络在对抗样本训练中的两个问题：在小模型中实现稳健性和对未知攻击类型的脆弱性。

    May, 2024