May, 2023

通过 MildTriple Loss 实现运动和文本的跨模态检索

PDF
TL;DR本文提出了一种基于 transformer 和 triplet loss 的 cross-modal retrieval 模型来解决 human motion sequences 和 text 之间的检索问题，并提出了一种新的 MildTriple Loss 来减少 semantic conflicts 的影响，经实验证明，在 HumanML3D 和 KIT Motion-Language 数据集上具有较高的检索召回率。
发现论文，激发创造
  • 文本到动作检索：走向人体运动数据和自然语言的联合理解

    本文探讨如何实现基于文本描述的运动检索任务，利用姿态估计、文本编码和基于分割空时注意力的 Motion Transformer 模型，对大量 3D 骨骼序列进行内容检索，实现了相应的定量度量评估。

    May, 2023

  • 使用对比式 3D 人体动作合成进行文本到动作的检索

    该论文提出了 TMR 方法，利用对比损失结构化跨模态潜在空间，提高文本到 3D 人体运动检索的性能，并在多个数据集上验证了其优越性能，同时也展示了其在时刻检索方面的潜力。

    May, 2023

  • 学习联合嵌入空间的三模态动作检索

    LAVIMO 是一个三模态学习的创新框架，通过加入人类中心视频作为额外模态，有效地弥补了文本和动作之间的差距，利用特殊设计的注意机制促进了文本、视频和动作模态之间的增强对齐和协同效应，在多个与动作相关的跨模态检索任务中实现了最先进的性能。

    Mar, 2024

  • 基于文本的三维人体动作检索的跨数据库研究

    我们提供了一项关于基于文本的三维人体动作检索的研究结果，重点关注跨数据集的泛化问题。通过采用统一的 SMPL 人体格式，我们能够对一个数据集进行训练，对另一个进行测试，或者对多个数据集进行训练。研究结果表明，标准的文本 - 动作基准数据集（如 HumanML3D、KIT Motion-Language 和 BABEL）存在数据集偏差。我们展示了文本增强在一定程度上可以缩小领域差距，但仍存在差距。此外，我们首次提供了使用 BABEL 进行零样本动作识别的结果，而在训练过程中没有使用分类动作标签，开辟了未来研究的新方向。

    May, 2024

  • 重新审视跨模态检索

    本文提出了一种交叉模态检索系统，利用图像和文本编码，实现了同时检索模态的功能，避免了需要为每个模态使用不同网络的缺点。在所使用的知识中，本文是第一篇采用单一网络和融合的图像 - 文本嵌入进行跨模态检索的工作。在 MS-COCO 和 Flickr30K 两个著名的多模态数据集上对该方法进行了评估。

    Jul, 2018

  • 视频检索的多模态 Transformer

    本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

    Jul, 2020

  • 基于多模态特征的文本视频分割运动建模

    本文提出了一种多模态视频分割方法，通过语言引导的特征融合模块和多模态对齐损失函数，将视觉外观、运动信息和语言特征融合，实现了精准的文本视频分割。在 A2D Sentences 和 J-HMDB Sentences 数据集上的实验表明，该方法与现有方法相比具有更好的性能和泛化能力。

    Apr, 2022

  • 保持语义领域对稳健跨模态检索的影响

    本篇研究提出了一种方法，使用特定的 loss 函数，在保持图像和文本子空间内的语义连贯性的同时鼓励它们之间的语义协同，并改进了基线模型，以实现跨模态检索。

    Jul, 2020

  • TM2D: 基于双模态驱动的音乐文本融合三维舞蹈生成

    本文提出了一种用于生成 3D 舞蹈动作的创新任务，该任务同时加入了文本和音乐模态。本文通过使用基于 3D 人类运动 VQ-VAE 的交叉模态变压器，将这两个数据集的运动投影到由量化向量组成的潜在空间中，并引入 Motion Prediction Distance 和 Freezing Score 两个新指标，成功生成了健康的、连贯的舞蹈动作。

    Apr, 2023

  • 通过生成模型改进文本 - 视觉交叉检索：观察、想象和匹配

    本文提出一种新的跨模态检索方法，利用生成式模型学习多模态数据的全局和本地特征，从而在 MSCOCO 数据集上实现了最先进的跨模态检索结果。

    Nov, 2017