CVPRMay, 2023

MMG-Ego4D: Egocentric 动作识别多模态泛化

PDF
TL;DR该研究论文探讨了在自心视角动作识别中一个新的问题，即 “多模态推广”，研究了系统在某些模态的数据受限或完全缺失时如何进行推广，并构建了一个包含视频、音频和惯性运动传感器模态的数据集。
egocentric action recognitionmultimodal generalizationsupervised action recognitionfew-shot settingmissing modality generalization
发现论文，激发创造
  • 探索多模式自为视角数据集中的缺失模态

    本研究通过引入 Missing Modality Token（MMT）的新概念，综合分析了缺失模态对自我中心动作识别的影响，并证明了 MMT 方法在处理缺失模态时的优越性。

    Jan, 2024

  • SimMMDG: 一个简单而有效的多模态领域泛化框架

    通过在多模态情境中将特征分为模态特定和模态共享组件，并运用监督对比学习对模态共享特征施加距离约束，以促进多样性，并引入跨模态转换模块来规范学习特征，以达到领域泛化的目标。

    Oct, 2023

  • 自我中心行为识别的多模态蒸馏

    本文研究了如何在仅使用 RGB 帧作为输入的情况下，保持多模态方法的性能表现，进而采用多模型知识蒸馏框架来处理这个问题，并在输入视角数量减少的情况下展示了更高的性能。

    Jul, 2023

  • MMGA：基于图形对齐的多模式学习

    本文提出了一个新的多模态预训练框架 MMGA，它能在社交媒体上整合图形、图像和文本模态的信息来增强用户表示学习。通过多步骤的图形对齐机制，将自监督信息注入到图像和文本编码器的优化中，同时使用图像和文本模态的信息来指导图形编码器学习。实验结果表明，该模型在 Instagram 数据集上表现良好，能提高粉丝预测任务的性能；同时，我们也公开了包含 60,000 个用户、基于 200 万帖子标注的第一个图形多模态数据集，以便于未来的研究。

    Oct, 2022

  • X-MIC：基于跨模态实例条件的自我中心动作泛化

    通过提出的简单而有效的跨模态适应框架 X-MIC，我们在图像和第三人称视频分类中将视觉语言模型（VLMs）成功进行零样本识别的研究成果进一步应用到自视角视频，通过学习在共享嵌入空间中在视频适配器的帮助下，将文本嵌入与每个自视角视频对齐，最终实现了文本嵌入与自视角视频之间的增强对齐，显著提升了跨数据集的泛化能力。

    Mar, 2024

  • 多模态跨领域少样本学习用于主体动作识别

    通过多模态输入和无标签目标数据解决跨领域少样本学习中视角行为识别的两个关键挑战，即视角视频的领域差异和实际应用的计算成本问题。提出了 MM-CDFSL 方法，通过教师模型的多模态蒸馏和集成遮蔽推理，增强模型对目标域的适应性并提高推理速度。在多个视角数据集上的性能优于现有的跨领域少样本学习方法，同时提高了推理速度。

    May, 2024

  • 多模态图学习的生成任务

    多模态图学习 (MMGL) 是一个通用、系统化的框架，用于捕捉具有关系结构的多模态邻居的信息并且在预训练的语言模型中增强其文本生成能力。

    Oct, 2023

  • 多流网络的模态蒸馏用于动作识别

    本研究提出了一种新的多模态视频动作识别方法，利用 RGB 数据以外的深度数据进行训练，在测试时利用 RGB 数据进行分类，通过精简网络来进行深度特征的提取，经过实验得到了目前最佳的分类结果。

    Jun, 2018

  • 应对测试时自鸣镜视频中的缺失模态

    通过测试时间自适应的方式，本研究提出了一种用于处理缺失模态的自监督在线解决方案，称为 MiDl（具有自我蒸馏的互信息）。通过最小化预测和可用模态之间的互信息，该方法鼓励模型对测试中存在的特定模态源不敏感。此外，我们还采用了自我蒸馏方法，以在两种模态都可用时保持模型的原始性能。MiDl 无需重新训练，在各种预训练模型和数据集上进行的实验表明，其实现了显著的性能改善。

    Apr, 2024

  • 面向缺失模态鲁棒性行为识别的良好实践

    本文针对多模态动作识别及其中一些模态不可用情况提出一套良好的实践方法，包括数据增强、基于 Transformer 的融合方法以及一个名为 ActionMAE 的模块化网络。通过采用这些方法，建立一个不仅在多模态动作识别中有效，同时对于模态缺失情况也具有鲁棒性的模型，并在多个基准测试中实现了最新技术，并在模态缺失场景中保持有竞争力的表现。

    Nov, 2022