AAAIDec, 2020

DecAug: 通过分解特征表示和语义增强实现的外样本泛化

PDF
TL;DR本文提出 DecAug 方法，使用分解特征表示和语义增强方法来解决深度学习模型在面对分布转移问题时的泛化问题，实验证明该方法可以解决多种泛化问题并且超越了现有算法的表现。
deep learningout-of-distribution generalizationdecaugdecomposed feature representationsemantic augmentation
发现论文，激发创造
  • 使用越界数据消除不良特征贡献

    提出了一种使用缺乏伪标签和数据分布限制的无分布数据进行数据增强的方法，以改善神经网络的推理泛化能力，并在 CIFAR-10，CIFAR-100 和 ImageNet 的子集上进行了实验证明。

    Jan, 2021

  • 图结构和特征外推用于超出分布的泛化

    本文提出了使用非欧氏线性外推的方法来实现图形 OOD 广义化，并在不破坏基本因果机制的情况下为特定转移定制 OOD 样本，理论分析和实证结果表明了我们的方法在解决目标转移问题上的有效性。

    Jun, 2023

  • 学习可推广到分布外的模块化结构

    本文提出一种针对机器学习系统中的 O.O.D. generalization 挑战的方法，通过训练鼓励模型仅保留在多个训练领域中被很好地重用的网络特征，结合两种互补的神经元级约束器和网络上的可微分二进制蒙版，提取模块化子网络以达到更好的 O.O.D. 性能。初步评估在两个基准数据集上证实了我们方法的优势。

    Aug, 2022

  • 解耦混合：面向通用视觉识别

    提出一种新的 “分离混合” 方法以训练 CNN 模型进行 OOD 视觉识别，通过解耦每个图像为判别性和易受干扰区域，同时提升了模型从判别性区域获取特征和抑制干扰性区域的能力；实验结果表明，在测试数据上具有高的泛化性能。

    Oct, 2022

  • 基于增强的域泛化用于语义分割

    本研究系统地研究了简单、基于规则的图像增强方法（如模糊、噪声、色彩抖动等）对深度神经网络（DNNs）的领域内外泛化能力。 实验结果表明，对多个不同的图像增强进行组合优于单独使用单个图像增强，并且与最先进的领域泛化方法相比表现相当。

    Apr, 2023

  • 深度稳健学习 - 针对外部分布泛化

    本文主要研究基于深度神经网络的方法在训练数据与测试数据分布不一致时的性能问题，并通过学习训练样本的权重以消除特征之间的依赖关系，从而提高深度模型的性能。通过在多个分布泛化基准测试上的实验，与同类研究相比，我们的方法取得了很好的效果。

    Apr, 2021

  • OoD-Bench: 量化和理解外分布泛化的两个维度

    通过对分布偏移数据的分类和对其相关算法的大量实验比较，对已有数据集和算法进行了分类整合，为未来的迁移学习和数据偏移研究提供了参考。

    Jun, 2021

  • 通过解耦风格和伪特征实现不变的表示学习

    针对存在样式分布偏移和虚假特征以及缺失域标签的超域泛化问题，本文提出了一种新的框架 IRSS，并通过引入对抗神经网络和多环境优化逐渐将样式分布和虚假特征从图像中分离，实现超域泛化。实验证明 IRSS 优于传统的超域方法，并解决了不变风险最小化（IRM）退化问题，从而实现了在分布迁移下提取不变特征。

    Dec, 2023

  • 探索特征学习在越界泛化中的作用

    通过理论研究发现，EMR 本质上学习了误差特征和不变特征，并且在 EMR 预训练期间学习的特征质量显着影响了最终的 OOD 性能。为了解决这个问题，我们提出了特征增强训练（FAT），通过保留已经学习到的特征并增加新的特征来强制模型学习所有有用的特征，并在不同子集的训练数据上执行保留和增强操作。广泛的实验表明，当应用于各种目标时，FAT 有效地学习更丰富的特征并持续改善 OOD 性能。

    Apr, 2023

  • DualAug: 利用 OOD 数据拒绝扩展增强技术

    数据增强是减少模型过拟合和提高泛化性能的一种主要方法。本研究揭示了数据增强与模型性能之间的关系，提出了一种名为 DualAug 的新型数据增强方法，并通过各种实验证明其在各种自动化数据增强方法以及半监督学习和对比自监督学习中的改进效果。

    Oct, 2023