ACLMay, 2022

基于数据制图的预训练语言模型 MixUp 技术

PDF
TL;DR本文提出 TDMixUp 方法，利用训练动态，基于易于学习或模糊样本测量置信度、可变性、AUM 特征，让更具备信息量的样本相互插值，生成新样本，实验证明该方法不仅在较小的训练数据子集上取得竞争性能，而且在广泛的自然语言处理任务中，使用预训练语言模型 BERT 取得较低的期望校准误差。我们公开发布了我们的代码。
mixuptdmixupdata augmentationtraining dynamicsexpected calibration error
发现论文，激发创造
  • 使用边缘下面积和显著性指导混合训练对预训练语言模型进行校准

    本文研究了 mixup 训练在自然语言理解（NLU）任务的作用，提出了一种用于预训练语言模型的 mixup 策略，并与模型 miscalibration 修正技术相结合来提高模型校准的方法，实验结果表明该方法在低预期的校准误差方面具有竞争优势。

    Mar, 2022

  • Mixup-Transformer：NLP 任务的动态数据增强

    本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域，特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明，Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术，能够显著提高其性能。

    Oct, 2020

  • 混合训练：改进的深度神经网络校准和预测不确定性

    通过将混合样本与标签训练，混合训练方法 (mixup) 在图像分类任务中表现出更好的数据增强效果，并且得到了更好的预测可靠性，表现为更好的校准性和更少的过于自信的预测。

    May, 2019

  • 尴尬地简单的时间序列混合

    提出了两种新的数据增强方法 MixUp++ 和 LatentMixUp++，分别通过对原始时序数据和分类模型的潜在空间进行插值，实现半监督学习来扩充标记数据，从而在两个公共数据集上显著提高了 1% - 15% 的时间序列分类精度。

    Apr, 2023

  • 全局混合：通过聚类消除歧义

    提出基于全局聚类关系的新型数据扩增方法 ——Global Mixup，其中通过将先前的一阶段扩增过程分解为两阶段，从而将生成虚拟样本的过程与标记过程分离，并根据生成样本的全局关系计算子集对生成样本的标签重新标记，从而在更大的采样空间中生成更可靠的虚拟样本。在 CNN、LSTM 和 BERT 上的五项任务的广泛实验表明，Global Mixup 明显优于现有最新技术基线。

    Jun, 2022

  • 解耦混合数据增强用于高效学习

    提出了一种新的混合数据方法 ——Decoupled Mixup，该方法可以将动态混合数据方法的样本解耦机制转移到目标函数级别，实现在保持数据平滑性的前提下焦点自适应聚焦于判别特征，避免了计算负担，并且实验结果表明 Decoupled Mixup 达到了甚至超过了动态混合数据的性能

    Mar, 2022

  • MetaMixUp: 使用元学习学习 MixUp 的自适应插值策略

    本文提出了一种名为 MetaMixUp 的数据增强方法，该方法通过在线元学习动态学习插值策略，可用于模型正则化、半监督学习和领域自适应，实验证明 MetaMixUp 比原始的 MixUp 和其变体在半监督学习配置下效果更好。

    Aug, 2019

  • 深度学习图像分类中的数据与类别相关不确定性估计的测试时间混合增强方法

    本文提出了一种通过测试时混合数据增强方法（TTMA）来进行深度学习图像分类不确定性估计的方法。基于混合增强方法，我们引入了 TTMA 数据不确定性（TTMA-DU）和 TTMA 类别相关不确定性（TTMA-CDU），分别可以提供更加准确的不确定性估计和深入的数据分析，通过在 ISIC-18 和 CIFAR-100 数据集上的实验验证了所提出方法的有效性。

    Dec, 2022

  • AutoMix: 揭示 Mixup 的强大分类器之力

    该论文提出了一种自动混合框架 ——AutoMix，它将混合分类分为两个子任务，并使用相应的子网络在双层优化框架中解决。AutoMix 在 9 个图像基准上的广泛实验表明，在各种分类场景和下游任务中，其优越性超过了现有技术。

    Mar, 2021

  • MixUp 作为局部线性域外正则化

    本文提出混合增强数据方法 MixUp 的一种新的视角 ——“out-of-manifold regularization”，并发现了其存在的 “manifold intrusion” 问题，提出了一种新的自适应正则化方法 AdaMixUp，并通过实验验证了 AdaMixUp 的优越性。

    Sep, 2018