Jun, 2021

通过最优传输的 k-Mixup 正则化深度学习

PDF
TL;DR该研究旨在扩展 Mixup 以提高其对数据结构的利用能力，通过使用 Wasserstein 度量和位移插值将 $k$-batches 的训练点方向扰动到其他 $k$-batches，从而实现 $k$-mixup。实验结果表明，使用 $k$-mixup 可以进一步提高基准数据集的泛化能力和鲁棒性。
发现论文，激发创造
  • 关于 Mixup 正则化

    本论文研究数据增广技术 Mixup 的理论基础，指出 Mixup 可被解释为标准经验风险最小化估计器，通过数据转换和随机扰动来实现。该方法在测试时能够提高分类器性能，同时还获得了自校准和有效的正则化效果，以防止过度拟合和过度自信的预测。

    Jun, 2020

  • MixUp 作为局部线性域外正则化

    本文提出混合增强数据方法 MixUp 的一种新的视角 ——“out-of-manifold regularization”，并发现了其存在的 “manifold intrusion” 问题，提出了一种新的自适应正则化方法 AdaMixUp，并通过实验验证了 AdaMixUp 的优越性。

    Sep, 2018

  • mixup：超越经验风险最小化

    这篇论文提出了一种名为 mixup 的学习原则，通过训练神经网络的凸组合来缓解其记忆和对抗性示例敏感等问题，实验表明 mixup 提高了最先进的神经网络结构的泛化性能，并减少了恶意标签的记忆，增强了对抗性示例的鲁棒性，并稳定了生成对抗网络的训练。

    Oct, 2017

  • 全局混合：通过聚类消除歧义

    提出基于全局聚类关系的新型数据扩增方法 ——Global Mixup，其中通过将先前的一阶段扩增过程分解为两阶段，从而将生成虚拟样本的过程与标记过程分离，并根据生成样本的全局关系计算子集对生成样本的标签重新标记，从而在更大的采样空间中生成更可靠的虚拟样本。在 CNN、LSTM 和 BERT 上的五项任务的广泛实验表明，Global Mixup 明显优于现有最新技术基线。

    Jun, 2022

  • 混合样本如何提高模型鲁棒性和泛化性能？

    本文提供了理论分析，证明了使用 Mixup 在训练中如何帮助模型的鲁棒性和泛化性，表明最小化 Mixup 损失相当于大致最小化对抗性损失的上界，而对于泛化性我们证明了 Mixup 数据增强对应于一种特定类型的数据自适应正则化，从而减少了过拟合。

    Oct, 2020

  • MetaMixUp: 使用元学习学习 MixUp 的自适应插值策略

    本文提出了一种名为 MetaMixUp 的数据增强方法，该方法通过在线元学习动态学习插值策略，可用于模型正则化、半监督学习和领域自适应，实验证明 MetaMixUp 比原始的 MixUp 和其变体在半监督学习配置下效果更好。

    Aug, 2019

  • LossMix: 简化和泛化 Mixup 以用于目标检测和更多领域

    该研究提出了一种新的概念框架 —— 监督插值，通过松弛和概括 Mixup，可以有效地规范混合数据的训练，进而提出了一种名为 LossMix 的简单却灵活且有效的正则化方法，并设计了一种两阶段的域混合方法，借助 LossMix 超越了 Adaptive Teacher，并在无监督领域适应中有了新的突破。

    Mar, 2023

  • 使用 Mixup 进行过度训练可能损害泛化能力

    通过线性插值的方法创建合成训练样例的 Mixup 是优化 SGD 的深度模型的简单而有效的正则化技术，本文显示 Mixup 训练中的 U 形泛化曲线现象， 通过一系列数据集的实验证明了混入嘈杂标签会让 Mixup 在合成数据中出现 U 形泛化曲线现象的理论解释。

    Mar, 2023

  • 流形增强：将混合正则化与 UMAP 结合

    深度学习模型的数据增强技术在提高性能方面发挥重要作用。本文提出了一种叫做 UMAP Mixup 的混合正则化方案，用于深度学习预测模型的 “在流形上” 自动数据增强。该方法通过利用一种称为统一流形逼近和投影的降维技术，确保 Mixup 操作生成的合成样本位于特征和标签的数据流形上。对多样的回归任务的评估显示，UMAP Mixup 在与其他 Mixup 变种的竞争中表现出色，显示出改进深度学习模型泛化性能的潜力。

    Dec, 2023

  • 用对抗性混合策略放松 Mixup 中的局部线性约束

    使用对抗混合策略来进一步规范深层网络，以更有效地应对低资源条件下 Mixup 约束问题，并在五种文本分类基准和五种骨干模型上的实验证明，该方法显著降低了 Mixup 变体的错误率（高达 31.3％），特别是在低资源条件下（高达 17.5％）

    Sep, 2021