DP-Mix: 基于 Mixup 的差分隐私学习数据增强

Nov, 2023

DP-Mix: 基于 Mixup 的差分隐私学习数据增强

DP-Mix: Mixup-based Data Augmentation for Differentially Private Learning

Wenxuan Bao, Francesco Pittaluga, Vijay Kumar B G, Vincent Bindschaedler

TL;DR通过对数据进行增强，尤其是在训练数据有限的情况下，数据增强技术可以显著提高计算机视觉模型的泛化能力。然而，由于不同 ially private learning 方法固有的假设，即每个训练图像对学习模型的贡献是有限的，这些技术与不同 ially private 学习方法在基本上不兼容。本文研究了为什么多样本数据增强技术（如 mixup）的朴素应用无法取得良好的性能，并提出了两种新型的数据增强技术，专门针对不同 ially private 学习的约束条件。我们的第一种技术 DP-Mix_Self 通过在自我增强的数据上执行 mixup，在一系列数据集和设置中实现了具有 SoTA 分类性能。我们的第二种技术 DP-Mix_Diff 通过将来自预训练扩散模型的合成数据纳入 mixup 过程中，进一步提高了性能。我们在此 URL 中开源了代码。

Abstract

data augmentation techniques, such as simple image transformations and combinations, are highly effective at improving the generalization of computer vision models, especially when training data is limited. However, such techniques are fundamentally incompatible with →

data augmentation differentially private learning multi-sample data augmentation dp-mix_self dp-mix_diff

发现论文，激发创造

用于自监督学习改进的简单数据混合先验

本文提出了 SDMP 方法来捕捉数据混合的内在相关性，将混合的图像作为额外的正对，从而在自监督表示学习中提高了学习框架的准确度和鲁棒性，是首个成功利用数据混合来提高视觉 Transformer 性能的方法。

Jun, 2022

TransformMix: 从数据中学习变换和混合策略

数据增强通过合成更多的训练样本提高深度学习模型的泛化能力。TransformMix 是一种自动化方法，通过应用学习到的变换和混合扩增策略来创建具有正确和重要信息的混合图像，从而提高性能。

Mar, 2024

DiffuseMix：保持标签的扩充数据方法与扩散模型

最近，引入了一些基于图像混合的数据增强技术来改善深度神经网络的泛化能力。我们提出了一种名为 DiffuseMix 的新型数据增强技术，该技术利用扩散模型重塑训练图像，并使用我们量身定制的条件提示进行监督。DiffuseMix 在包括一般分类、细粒度分类、微调、数据稀缺性和对抗鲁棒性等任务上相较于现有最先进的方法取得了优越性能。

Apr, 2024

计算机视觉中的混合差分隐私

AdaMix 是一种自适应差分隐私算法，用于使用私有和公共图像数据训练深度神经网络分类器。它采用 few-shot training 和 zero-shot learning 来解决视觉分类中的隐私和准确性之间的权衡问题，并提供强大的理论隐私保证和收敛分析。

Mar, 2022

MiAMix: 通过多阶段增强混合样本数据增强方法增强图像分类

通过引入一种名为 MiAMix 的新的 mixup 方法，将图像增强与 mixup 框架相结合，同时利用多种多样的混合方法，并通过随机选择混合掩码增强方法来改进混合方法，该研究表明 MiAMix 在提高性能的同时降低了计算负载。

Aug, 2023

生理时间序列数据中基于混合的数据增强方法的实证研究

本研究系统评估了混合型数据增强方法在生理时间序列分类中的性能，并发现混合型增强方法能够显著改善数据集的性能，而且不需要专业知识或大量参数调整。此外，还总结了混合型增强方法的独特属性，并强调在生理时间序列数据中使用混合型增强方法的潜在益处。

Sep, 2023

对抗自动混合

通过交替优化分类器和混合样本生成器，我们提出了一种对抗性自动混合增强方法 AdAutomixup，用于生成具有挑战性的样本以训练强大的图像分类器，并通过引入指数移动平均教师和余弦相似度来防止图像内在意义的崩溃。大量实验证明，我们的方法在各种分类场景中优于现有技术水平。

Dec, 2023

数据插值预测: Mixup 的替代解释

提出了 Data Interpolating Prediction（DIP）框架，将样本混合过程与分类器的假设类封装在一起，从而使训练和测试样本受到平等对待，进而帮助降低 Rademacher 复杂度并减少泛化误差。DIP 在实证上表现比 Mixup 更优。

Jun, 2019

Mixup-Transformer：NLP 任务的动态数据增强

本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域，特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明，Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术，能够显著提高其性能。

Oct, 2020

解耦混合数据增强用于高效学习

提出了一种新的混合数据方法 ——Decoupled Mixup，该方法可以将动态混合数据方法的样本解耦机制转移到目标函数级别，实现在保持数据平滑性的前提下焦点自适应聚焦于判别特征，避免了计算负担，并且实验结果表明 Decoupled Mixup 达到了甚至超过了动态混合数据的性能

Mar, 2022