Dec, 2023

TextAug：用于多模态个体再识别的测试时间文本增强

PDF
TL;DR研究探讨了一种名为 CutMixOut 的新方法，该方法将 Cutout 和 CutMix 两种数据增强技术相结合，通过随机删除文本中的单词或子短语并混合多个句子的部分内容，实现对多模态人员重新识别任务性能的简单有效提升。
发现论文，激发创造
  • 通过全局增强方法提高短文本分类效果

    本文研究了不同的文本扩充方法在分类应用中的影响，通过使用包括社交媒体和新闻文章在内的三个数据集，我们发现基于 Word2vec 的文本扩充是一种可行的选择，并且使用 mixup 可以进一步提高性能，并降低过拟合的影响。同时，通过翻译服务进行往返翻译的效果不如其他方法好，并且成本较高，适用性较差。

    Jul, 2019

  • 一种特征空间多模态数据增强技术用于文本 - 视频检索

    本文介绍了利用文本 - 视频检索方法，并结合数据增强技术及多模态数据的方法，对大规模公共数据集 EPIC-Kitchens-100 的测试性能进行提升，灵敏的处理方式能以自然语言查询进行相关视频的查找。

    Aug, 2022

  • TripletMix: 三维理解的三元组数据增强

    我们提出了 TripletMix，一种新的方法来解决多模态数据增强在 3D 理解中的问题，通过混合增强的原则同时增强文本、图像和点云三种模态数据，从而提高模型的跨模态理解能力和泛化能力。

    May, 2024

  • 学习数据增强：文本识别联合数据增强和网络优化

    本文提出了一种新的文本图像增强方法，使用自定义的参考点来生成更适合训练识别网络的样本，并通过联合学习框架优化训练过程，实验证明该方法显著提高了识别网络的性能。

    Mar, 2020

  • 跨模态属性插入，评估视觉语言学习的鲁棒性

    本文提出了一种跨模态属性插入的策略，该策略将图像中的视觉属性插入到文本数据中，用于深度视觉和语言模型的鲁棒性评估，并发现相对于纯文本数据，跨模态属性插入提高了深度视觉和语言模型的数据增广质量。

    Jun, 2023

  • 细粒度图像 - 文本检索中的配对交叉模态数据增强

    该论文研究了一个生成文本 - 图像对以提高细粒度图像 - 文本跨模态检索任务训练的开放性研究问题，并提出了一种新的框架用于成对数据增强，以揭示 StyleGAN2 模型的隐藏语义信息。

    Jul, 2022

  • 应用扩散模型进行图像字幕的多模态数据增强

    本研究提出了一种基于多模态数据增强技术的图像字幕生成方法，旨在解决图像字幕对齐困难的问题。实验证明，本方法可以通过高质量生成图像 - 字幕对来扩充训练数据集，从而提高模型的训练效率和预测准确性。

    May, 2023

  • 通过决策边界感知的数据增强在低资源环境中提高效果和鲁棒性

    该研究提出了一种基于决策边界的数据增强策略，利用预训练语言模型来提高鲁棒性；该技术首先将潜在特征接近决策边界，然后通过重构生成一个带有软标签的模糊版本，并建议使用中点 K 采样来增强生成句子的多样性。通过大量实验证明了该增强策略与其他方法相比的性能，同时深入研究了软标签和中点 K 采样的效果以及该方法在课程数据增强中的可扩展性。

    Mar, 2024

  • 基于 LM 的文本增强的神经数据到文本生成

    通过少量文本样本的文本增强和使用循环一致性作为目标实现弱监督训练范式在数据到文本生成中的有效性。

    Feb, 2021

  • MixGen：一种新型多模态数据增强方法

    本文介绍 MixGen：一种联合数据增强技术，利用插值和拼接文本的方式生成并保留了图像和文本之间的语义关系，已被应用于现有的一些数据处理流程中，我们在 CLIP、ViLT、ALBEF、TCL 等 4 个框架上进行验证，发现 MixGen 可以显著提高模型性能，尤其在 ALBEF 预训练中，MixGen 在图像文本检索、视觉推理和其他相关任务中获得了较大的提升。

    Jun, 2022