AAAIDec, 2022

关于不变性学习和对抗训练与超出分布泛化的联系

PDF
TL;DR本文探究一种基于对抗训练的深度学习模型方法，称为 Domainwise Adversarial Training (DAT)，来解决深度学习模型在广义分布中失败的问题，该方法借鉴了 Invariant Risk Minimization (IRM) 和 Adversarial Training (AT) 方法，并通过实验证明，我们提出的 DAT 方法在解决不同广义分布转移方案上表现均可。
发现论文，激发创造
  • 基于不变风险最小化的区外预测：局限性及有效解决方案

    探讨了在多个领域训练数据集且测试数据集未出现在训练中时深度神经网络在预测 out-of-distribution 问题的可靠性，并提出了在强 lambda 混淆的情况下，结合条件分布匹配的方法来避免特定类型的假相关问题和实验证明了该方法的有效性。

    Jan, 2021

  • 不变风险最小化的无分布优化性

    深度神经网络存在与训练数据中嵌入的虚假相关性，无法泛化到不同分布的未见域，M. Arjovsky 等人引入了域外风险的概念，并将由虚假相关性引起的问题形式化为域外风险的最小化问题。本文旨在为不变风险最小化提供理论上的验证，证明了双层优化问题的解在一定条件下能使域外风险最小化。同时，文章还提供了训练数据分布和特征空间维度的充分条件，使双层优化问题能最小化域外风险。

    Jul, 2023

  • 通过部分不变性学习最佳特征

    通过学习来自多个环境的数据，提出在模型学习中，使用部分不变性（Partial Invariance）来放宽 Invariant Risk Minimization（IRM）的假设条件，从而在语言和图像数据上进行实验并得出结论。

    Jan, 2023

  • 元学习不变风险最小化

    本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题，并通过实验展示该方法在 Out-of-Distribution（OOD）泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。

    Mar, 2021

  • 自适应风险最小化：学习适应领域转移

    本文探讨了在机器学习系统被分布转移影响时，如何通过自适应风险最小化方法 (ARM) 以提高对新领域和分布的分类准确率，在多个图像分类问题中，与其他鲁棒性、不变性和适应性方法相比，ARM 方法提高了 1-4％的测试准确率。

    Jul, 2020

  • 对抗分布式训练用于强健深度学习

    本文提出了一种新的模型训练框架 - 对抗分布式训练（ADT），通过最小值最大化优化问题，训练模型来学习处理各种威胁。ADT 的有效性也在几个基准测试中得到了验证。

    Feb, 2020

  • 不变风险最小化

    介绍了不变风险最小化 (IRM) 的学习模式，通过学习数据表示来估计多个训练分布之间的不变关系，从而实现在所有训练分布上匹配最优分类器，通过理论和实验表明，IRM 学习到的不变性与控制数据的因果结构相关，并能够实现分布外概括。

    Jul, 2019

  • 利用因果不变转换实现对分布外的泛化

    本研究提出了一种针对领域间泛化问题的新方法，通过使用修改非因果特征但不改变因果特征的转换方式，从而获得跨领域的最优模型，并且该方法只需要一个单一领域的数据即可实现，在实验中证明了该方法的有效性。

    Mar, 2022

  • 在潜在空间中通过领域不变表示学习改善入侵检测

    通过多任务学习，我们引入了一种两阶段表示学习技术，旨在从跨越多个领域的特征中培养一个潜在空间，包括原始和跨领域的特征，以增强在未见过的内部分布和外部分布领域的推理能力。此外，我们试图通过最小化先验和潜在空间之间的互信息来解耦潜在空间，从而有效地消除虚假特征之间的关联性。总体而言，这种联合优化将促进领域无关的特征学习。我们使用标准分类指标在多个网络安全数据集上评估模型的有效性，并将结果与当代领域泛化方法进行对比。

    Dec, 2023

  • 探索特征学习在越界泛化中的作用

    通过理论研究发现，EMR 本质上学习了误差特征和不变特征，并且在 EMR 预训练期间学习的特征质量显着影响了最终的 OOD 性能。为了解决这个问题，我们提出了特征增强训练（FAT），通过保留已经学习到的特征并增加新的特征来强制模型学习所有有用的特征，并在不同子集的训练数据上执行保留和增强操作。广泛的实验表明，当应用于各种目标时，FAT 有效地学习更丰富的特征并持续改善 OOD 性能。

    Apr, 2023