May, 2024

TripletMix: 三维理解的三元组数据增强

PDF
TL;DR我们提出了 TripletMix，一种新的方法来解决多模态数据增强在 3D 理解中的问题，通过混合增强的原则同时增强文本、图像和点云三种模态数据，从而提高模型的跨模态理解能力和泛化能力。
data augmentationmultimodal triplet data3d visiontripletmixcross-modal understanding
发现论文，激发创造
  • Mix3D：用于三维场景的非上下文数据增强

    本研究提出 Mix3D 数据增强技术，以平衡全局场景和局部几何关系，并通过混合两个增强场景的方式创建新的训练样本，从而使模型不仅依赖于场景上下文的先验知识，而且基于局部结构推断语义信息，实验证明 Mix3D 在建筑室内和户外的数据集上均获得显著提高。

    Oct, 2021

  • 超越三元组：利用最多数据进行多模态机器翻译

    通过提出一个新的方法和新的数据集，本文致力于提高多模式机器翻译的翻译质量并解决了只能利用少量数据和当前的基准相对较为受限约束的问题，结果表明我们的方法更适合实际场景并显著提高了翻译性能。

    Dec, 2022

  • MixCon3D: 协同多视角和跨模态对比学习的混合 3D 表征增强

    MixCon3D 结合 2D 图像和 3D 点云之间的互补信息，增强对比学习，并通过提供更准确全面描述真实世界 3D 物体的多视图 2D 图像集成，增强传统的三模态表示，加强文本对齐。我们对 3D 对比学习的各种训练配方进行了全面调查，并建立了一个性能改进的坚实基线。在三个代表性基准测试中进行的大量实验证明，我们的方法相比基线有显著改进，在具有挑战性的 1,156 类别 Objaverse-LVIS 数据集上的表现超过目前最先进的性能 5.7%。我们进一步展示了我们方法在文本到 3D 检索和点云字幕等更多应用中的有效性。

    Nov, 2023

  • DoubleMix: 简单的基于插值的数据增强方法用于文本分类

    提出了一种名为 DoubleMix 的插值数据增强方法，通过合成的数据集和原始数据集在神经模型的隐藏空间中进行插值，以及学习隐藏空间中的 “偏移” 特征来提高模型的鲁棒性，在六个文本分类基准数据集上，该方法优于几种流行的文本增强技术，同时在低资源情况下也能保持性能的提升。

    Sep, 2022

  • TAMM：三适配器多模态学习用于 3D 形状理解

    通过 TriAdapter Multi-Modal Learning（TAMM），在多模态预训练中引入了三个协同适配器，以更有效地利用 2D 图像和语言模态，缩小 3D 形状数据集的规模限制，提高对 3D 形状的理解和表示学习。

    Feb, 2024

  • 超越第一印象：整合多模态联合线索用于全面的 3D 表示

    通过引入多视图联合模态建模方法，该研究论文提出了一种名为 JM3D 的新方法，以解决 3D 表示学习中的信息降解和不足协同问题，并在零样本 3D 分类任务上取得了领先于现有方法的性能。

    Aug, 2023

  • MixGen：一种新型多模态数据增强方法

    本文介绍 MixGen：一种联合数据增强技术，利用插值和拼接文本的方式生成并保留了图像和文本之间的语义关系，已被应用于现有的一些数据处理流程中，我们在 CLIP、ViLT、ALBEF、TCL 等 4 个框架上进行验证，发现 MixGen 可以显著提高模型性能，尤其在 ALBEF 预训练中，MixGen 在图像文本检索、视觉推理和其他相关任务中获得了较大的提升。

    Jun, 2022

  • TextAug：用于多模态个体再识别的测试时间文本增强

    研究探讨了一种名为 CutMixOut 的新方法，该方法将 Cutout 和 CutMix 两种数据增强技术相结合，通过随机删除文本中的单词或子短语并混合多个句子的部分内容，实现对多模态人员重新识别任务性能的简单有效提升。

    Dec, 2023

  • ULIP-2: 面向可伸缩的多模态 3D 预训练

    ULIP-2 是一个用于 3D 表示学习的多模态预训练框架，它创建了包含图像、语言和 3D 点云的三模态三元组数据集，拥有更强的可扩展性和综合性，并利用大型语言模型自动生成全面的 3D 对象语言描述来提高多模态预训练的效果，并在 ModelNet40 和 ScanObjectNN 等数据集上取得了令人瞩目的结果。

    May, 2023

  • 音视频检索的两阶段三元组损失训练及课程增强

    通过课程学习引导，本研究提出了一种两阶段训练范式，从半硬三元组到困难三元组，来优化跨模态检索模型的性能。在两个音视频数据集上进行的广泛实验结果显示，与当前最先进方法 MSNSCA 相比，我们提出的方法在 AVE 数据集上的视听跨模态检索任务的平均均值平均准确率 (MAP) 方面有显著提升，约为 9.8%，表明我们的方法的有效性。

    Oct, 2023