ACLApr, 2020

MixText: 语言知识驱动的隐藏空间插值半监督文本分类

PDF
TL;DR提出了 MixText，这是一种用于文本分类的半监督学习方法，利用我们新设计的数据增强方法 TMix，在隐藏空间插值文本来创建大量的增强训练样本。混合标记的、未标记的和增强的数据，MixText 在几个文本分类基准测试中显著优于当前的预训练和微调模型以及其他最先进的半监督学习方法，尤其是在监督极度有限的情况下。我们已经在此 https URL 上公开发布了我们的代码。
发现论文，激发创造
  • DoubleMix: 简单的基于插值的数据增强方法用于文本分类

    提出了一种名为 DoubleMix 的插值数据增强方法，通过合成的数据集和原始数据集在神经模型的隐藏空间中进行插值，以及学习隐藏空间中的 “偏移” 特征来提高模型的鲁棒性，在六个文本分类基准数据集上，该方法优于几种流行的文本增强技术，同时在低资源情况下也能保持性能的提升。

    Sep, 2022

  • 基于显著性的跨度混合增强文本分类方法：SSMix

    通过 SSMix，在输入文本上进行数据增强而不如之前的隐式向量操作，维持两个原始文本的局部性通过跨度混合以及保留更多与预测相关的标记，我们实验证明，相较于以前的隐式向量操作，我们的方法在包括文本蕴涵、情感分类和问句类型分类的广泛文本分类基准测试上具有更好的性能。

    Jun, 2021

  • TiMix：文本感知的图像融合 用于高效视觉语言预训练

    Self-supervised Multi-modal Contrastive Learning (SMCL) 模型通过整合视觉和语言模态，使现代视觉 - 语言预训练（VLP）模型在无监督学习方面取得显著的进展。然而，由于网络采集的文本 - 图像对中存在噪声问题，在 SMCL 模型中增加训练数据量会带来相当大的计算成本和数据效率问题。为了提高 VLP 模型的数据效率，我们提出了 Text-aware Image Mixing（TiMix）方法，将基于混合的数据增强技术应用到 SMCL 模型中，能够在显著提升性能的同时，不会显著增加计算开销。我们从互信息（MI）的角度对 TiMix 进行了理论分析，表明混合的数据样本能够隐式地作为对比损失的正则化器。实验结果表明，与现有方法相比，即使减少了训练数据量并缩短了训练时间，TiMix 在下游任务上表现出了可比较的性能。该研究从实证和理论上证明了数据混合在数据高效和计算可行的 VLP 中的潜力，为 VLP 模型在实际场景中的广泛应用带来了好处。

    Dec, 2023

  • SelfMix: 自我混合训练抵御文本标签噪声的稳健学习

    本文提出一种用于处理文本分类任务中标签噪声的简单而有效的方法 SelfMix，该方法使用高斯混合模型来分离样本，并利用半监督学习。实验结果表明，我们的方法在不同类型的文本噪声下，比设计用于文本和视觉数据的强基线表现更优秀。

    Oct, 2022

  • 使用 Mixup 增强数据进行句子分类：一项实证研究

    本文提出了 Mixup 数据增强方法在句子分类中的应用策略，并在多个基准数据集上进行了实验验证，结果表明该技术是一种有效的、领域无关的数据增强方法，可使 CNN 和 LSTM 模型的预测准确性显著提高。

    May, 2019

  • MSMix：一种基于插值的文本数据增强方法：流形交换 Mixup

    提出了一种简单而有效的插值数据增强方法 MSMix，并在三个中文意图识别数据集上进行了实验，结果表明该方法在全样本和小样本配置下均取得了比其他方法更好的结果。

    May, 2023

  • Mixup-Transformer：NLP 任务的动态数据增强

    本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域，特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明，Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术，能够显著提高其性能。

    Oct, 2020

  • LINDA：自然语言处理中的无监督插值学习

    本文提出了 ANI 算法，一种基于深度神经网络结构的无偏估计方法，解决了近邻法无法处理高维数据的问题，并在 MNIST 数据集和图像分类任务上的表现优于传统的平均法。

    Dec, 2021

  • 混合数据增强中的自我进化学习：增强少样本文本分类任务

    本文提出一种基于自适应学习的 mixup 方法，采用实例专属标签平滑技术，通过数据增强技术产生更具适应性和友好性的假样本用于文本分类，实验证明该方法显著提高了分类精度和模型的泛化能力。

    May, 2023

  • 混合增强与多种插值

    在本文中，我们提出了一种称为多重揉混（multi-mix）的简单而有效的扩展方法，它通过从样本对生成多个插值样本，可以比标准 mixup 更好地引导训练过程，从而在泛化性能、鲁棒性和校准度方面超过了各种 mixup 变体和非 mixup 基线。

    Jun, 2024