Nov, 2023

AdaFlood：自适应洪水正则化

PDF
TL;DR传统上，神经网络会优化目标函数使得训练损失为零，但最近研究发现设定一个非零训练损失阈值 (即洪水水位) 通常能够实现更好的测试泛化。然而，现有的方法将相同的恒定洪水水位应用于所有训练样本，这在本质上假设所有样本具有相同的难度。本文提出了 AdaFlood，一种新颖的洪水正则化方法，根据样本的难度调整每个训练样本的洪水水位。直观来说，由于训练样本的难度不同，目标训练损失应该与实例有关系。在涵盖文本、图像、异步事件序列和表格等四种不同输入模态的数据集上的实验证明了 AdaFlood 在不同数据领域和噪声水平下的多功能性。
发现论文，激发创造
  • 泛洪正则化用于稳定训练生成对抗网络

    该论文提出了一种针对生成对抗网络（GANs）的训练不稳定问题的解决方法，通过直接对抗损失函数进行正则化，使用洪水法（flooding）抑制判别器的损失过低，实验证明洪水法可以稳定 GANs 的训练，并与其他稳定技术结合使用。

    Nov, 2023

  • 在达成零训练误差后，我们是否需要零训练损失？

    本研究提出了一种称为 flooding 的解决方案，通过限制训练误差在一个合理的小值范围内，以达到更好的泛化效果，并在实验中证明了有效性。

    Feb, 2020

  • 软升软降中的隐式正则化

    通过提出一种更加鲁棒的程序 SoftAD，该程序通过减少边界点和限制异常值的影响，保留升降效果，实现与 SAM 和 Flooding 竞争性分类准确度，同时保持更小的损失泛化差距和模型规范化。

    Oct, 2023

  • 深度神经网络微调上的自适应随机特征正则化

    使用自适应随机特征正则化 (AdaRand) 方法，无需辅助源信息和重大计算成本，通过改变特征向量的分布来提高训练模型的下游分类任务性能。

    Mar, 2024

  • AFLOW: 在极限噪音受限设置下开发对抗样本

    通过提出一种新的 Normalize Flow-based 全链路攻击框架，称为 AFLOW，以在严格约束条件下合成不可察觉的对抗性样本，该方法能够在图像质量和攻击能力上具有卓越性，甚至在健壮模型上也能取得比以前方法更高的攻击效果。

    Oct, 2023

  • 自适应正则化的 Dropout 训练

    该研究论文通过将 dropout 解释为一种正则化方法，建立了它与 L2 正则化和 AdaGrad 的联系。进一步地，该方法可被应用于半监督学习，旨在提高模型性能，并在文本分类任务中得到了成功应用。

    Jul, 2013

  • 随机遗忘对强健泛化的有效性

    通过引入一种名为 “忘却以减轻过拟合（FOMO）” 的新型学习范式，交替进行随机遗忘权重子集和重新初始化权重的调节，以及强调学习可泛化特征的学习阶段，FOMO 成功缓解了强健过拟合问题，显著减小了最佳和最后的强健测试准确率之间的差距，并提高了最先进的鲁棒性，在标准准确性和鲁棒准确性之间提供了更好的权衡正。此外，FOMO 对 AutoAttacks 具有鲁棒性，并在许多实际情境中提高了泛化能力。

    Feb, 2024

  • AdaTrans：基于特征和样本的高维回归自适应迁移学习

    我们提出了一种自适应迁移学习方法，可以在高维环境中处理特征维度大于样本大小的情况。通过使用一种新型的融合罚函数，配合能够根据可迁移结构自适应调整的权重，我们能够检测和聚合特征层面或样本层面的可迁移结构，从而选择性地融合可迁移信号并过滤掉不可迁移信号。此方法的有效性已经通过合成数据和真实数据的验证得到证明。

    Mar, 2024

  • 对抗样本认证防御

    研究使用半定松弛来提高神经网络对于小的对抗扰动的鲁棒性，并且证明了其相比于其他防御方法更加有效。

    Jan, 2018

  • 实用域自适应的 Batch Normalization 重新审视

    本文提出了一种称为自适应批量归一化（AdaBN）的方法来提高深度神经网络的泛化能力，无需额外组件或参数，并证明其在领域适应任务和现有方法相结合时具有卓越的性能表现。

    Mar, 2016