数据插值预测: Mixup 的替代解释

ICLRJun, 2019

Data Interpolating Prediction: Alternative Interpretation of Mixup

Takuya Shimada, Shoichiro Yamaguchi, Kohei Hayashi, Sosuke Kobayashi

TL;DR提出了 Data Interpolating Prediction（DIP）框架，将样本混合过程与分类器的假设类封装在一起，从而使训练和测试样本受到平等对待，进而帮助降低 Rademacher 复杂度并减少泛化误差。DIP 在实证上表现比 Mixup 更优。

Abstract

data augmentation by mixing samples, such as mixup, has widely been used typically for classification tasks. However, this strategy is not always effective due to the gap between augmented samples for training an

data augmentation mixup classifier generalization error dip

发现论文，激发创造

混合增强与多种插值

在本文中，我们提出了一种称为多重揉混（multi-mix）的简单而有效的扩展方法，它通过从样本对生成多个插值样本，可以比标准 mixup 更好地引导训练过程，从而在泛化性能、鲁棒性和校准度方面超过了各种 mixup 变体和非 mixup 基线。

Jun, 2024

Mixup-Transformer：NLP 任务的动态数据增强

本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域，特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明，Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术，能够显著提高其性能。

Oct, 2020

混合样本对特征学习的益处

本文研究数据增强方法 Mixup 的原理，从特征学习的角度解释了 Mixup 方法的优越性，并提出在早期训练阶段应用早停止技术以提高训练效果。

Mar, 2023

DoubleMix: 简单的基于插值的数据增强方法用于文本分类

提出了一种名为 DoubleMix 的插值数据增强方法，通过合成的数据集和原始数据集在神经模型的隐藏空间中进行插值，以及学习隐藏空间中的 “偏移” 特征来提高模型的鲁棒性，在六个文本分类基准数据集上，该方法优于几种流行的文本增强技术，同时在低资源情况下也能保持性能的提升。

Sep, 2022

公平的混合：插值促进公平

该研究提出了公平混合（fair mixup）的新型数据增强策略，通过对分组间插值样本的正则化训练来实现分类器的公平性约束，并分析实验证明其在表格、视觉和语言测试中确保了更好的准确性和公平度的泛化能力。

Mar, 2021

使用 Mixup 增强数据进行句子分类：一项实证研究

本文提出了 Mixup 数据增强方法在句子分类中的应用策略，并在多个基准数据集上进行了实验验证，结果表明该技术是一种有效的、领域无关的数据增强方法，可使 CNN 和 LSTM 模型的预测准确性显著提高。

May, 2019

无限类别混淆

本文提出了一种名为 Infinite Class Mixup 的基于分类器混合的新型数据增广策略，通过对每个增广样本定义一个唯一的新分类器，而不是对训练对标签进行混合，使得神经网络能够更好地学习不同数据类之间的线性行为模式，并在多种模型上取得了较好的性能表现。

May, 2023

LossMix: 简化和泛化 Mixup 以用于目标检测和更多领域

该研究提出了一种新的概念框架 —— 监督插值，通过松弛和概括 Mixup，可以有效地规范混合数据的训练，进而提出了一种名为 LossMix 的简单却灵活且有效的正则化方法，并设计了一种两阶段的域混合方法，借助 LossMix 超越了 Adaptive Teacher，并在无监督领域适应中有了新的突破。

Mar, 2023

DP-Mix: 基于 Mixup 的差分隐私学习数据增强

通过对数据进行增强，尤其是在训练数据有限的情况下，数据增强技术可以显著提高计算机视觉模型的泛化能力。然而，由于不同 ially private learning 方法固有的假设，即每个训练图像对学习模型的贡献是有限的，这些技术与不同 ially private 学习方法在基本上不兼容。本文研究了为什么多样本数据增强技术（如 mixup）的朴素应用无法取得良好的性能，并提出了两种新型的数据增强技术，专门针对不同 ially private 学习的约束条件。我们的第一种技术 DP-Mix_Self 通过在自我增强的数据上执行 mixup，在一系列数据集和设置中实现了具有 SoTA 分类性能。我们的第二种技术 DP-Mix_Diff 通过将来自预训练扩散模型的合成数据纳入 mixup 过程中，进一步提高了性能。我们在此 URL 中开源了代码。

Nov, 2023

全局混合：通过聚类消除歧义

提出基于全局聚类关系的新型数据扩增方法 ——Global Mixup，其中通过将先前的一阶段扩增过程分解为两阶段，从而将生成虚拟样本的过程与标记过程分离，并根据生成样本的全局关系计算子集对生成样本的标签重新标记，从而在更大的采样空间中生成更可靠的虚拟样本。在 CNN、LSTM 和 BERT 上的五项任务的广泛实验表明，Global Mixup 明显优于现有最新技术基线。

Jun, 2022