MMSep, 2019

具有计划自适应边缘约束的跨模态子空间学习

PDF
TL;DR本文提出一种新的逐步自适应最大边界（SAM）公式，通过推断在训练期间的三元约束，从而通过自适应地强制执行类别之间和模态之间的相关性，组织实例。在广泛使用的数据集上，实验证明了 SAM 方法的相对改进，达到了比第二佳方法高约 12.5% 的效果，从而确认了我们的可调自适应边界公式的有效性。
发现论文，激发创造
  • 自适应交叉模态少样本学习

    本文提出了一种机制，可以根据待学习的新图像类别自适应地从视觉和语义两方面结合信息，通过一系列实验表明，这种自适应组合可以在所有基准和 few-shot 情景上大幅优于当前单模态学习方法和模态对齐方法，特别是在少样本的情况下。

    Feb, 2019

  • 基于交叉模态学习的三维语义分割领域自适应

    本文介绍了一种新的领域适应策略 - “交叉模态学习”，在无监督和半监督领域适应设置下，通过两种模式的相互模仿实现模态之间的一致性，在 3D 语义分割任务中证明了该方法的有效性

    Jan, 2021

  • 保持语义领域对稳健跨模态检索的影响

    本篇研究提出了一种方法，使用特定的 loss 函数，在保持图像和文本子空间内的语义连贯性的同时鼓励它们之间的语义协同，并改进了基线模型，以实现跨模态检索。

    Jul, 2020

  • 跨模态潜在空间的编码嵌入：面向端到端口语理解

    本文提出使用多模型、跨模态潜空间以及三元组损失函数来提高端到端语音理解的性能。

    Nov, 2020

  • 语音和文本嵌入空间的无监督交叉模态对齐

    该研究提出了一种无监督的跨模态对齐框架，通过对抗训练和优化过程来实现语音和文本的嵌入空间对齐，从而帮助开发对低资源语言进行语音识别和语音到文本翻译的自动化系统，并且在分类和翻译任务上的表现与监督的方法相媲美。

    May, 2018

  • 多模态语义分割的自监督模型适应

    提出了一种自适应动态融合多模态语义分割框架，采用自监督模型的融合机制来优化融合多模态特征，在物体类别、空间位置和场景上下文方面增强鲁棒性，同时提出了一种计算高效的 AdapNet ++ 单模分割体系结构，并获得了最新的性能。

    Aug, 2018

  • 多模态语义理解与对比跨模态特征对齐

    本篇研究提出了一种基于 CLIP 引导的对比学习的架构，用于执行多模态特征对齐，将来自不同模态的特征投影到一个统一的深度空间，实验结果表明，我们提出的模型在多模态讽刺检测和多模态情感分析任务中明显优于多个基准模型，我们的特征对齐策略相对于其他聚合方法和甚至富含知识的模型也带来了明显的性能增益，此外，我们的模型实现简单，无需使用特定任务的外部知识，因此可以轻松迁移到其他多模态任务。

    Mar, 2024

  • 语音文本语义对齐嵌入的分析

    本论文研究联合语音 - 文本 Embeddings 空间的内在属性，借助自动语音识别，通过多任务预训练场景实现语义对齐，利用定量检索精度度量语义对齐，进行了深入分析。

    Apr, 2022

  • 利用相关对齐学习共享语义空间进行跨模态事件检索

    该研究论文介绍了使用 $S^{3} CA$ 学习多模态数据表示的共享语义空间，利用多层卷积网络和全连接网络对图片和文本提取特征，从而实现跨模态（事件）检索，并将多模态数据投影到共享语义空间中进行检索。同时，作者贡献了一个 Wiki-Flickr 事件数据集，其中的多模态数据样本不像现有的配对数据集那样是成对描述的，而是都描述了语义事件。实验结果表明，$S^{3} CA$ 有效，优于当前最先进的方法。

    Jan, 2019

  • MM-TTA: 3D 语义分割的多模态测试时适应

    本文提出一种新的多模态测试时自适应模型，其中包含 Intra-PG 模块用于获取可靠的伪标签，以及 Inter-PR 模块用于自适应选择更可靠的伪标签，实现了基于多模态输入的 3D 语义分割稳定自学习。

    Apr, 2022