CVPRJul, 2021

多模态时间卷积网络在自我中心视频中预测动作

PDF
TL;DR本文提出了一种基于时间卷积的层次结构多模态神经网络，不依赖于循环层实现对人类动作的预测，且通过多模态融合机制使得在处理具有 # egocentric videos# 意义的庞大数据集时达到了与最新研究相当的性能，但具有明显的时间优势。
anticipating human actionsintelligent agentstemporal convolutionsmulti-modal architectureegocentric videos
发现论文，激发创造
  • 用 Rolling-Unrolling LSTM 和模态注意力预测以自我为中心的行为

    本研究提出了一种基于 LSTMs 和 Modality ATTention (MATT) 机制的行为预测框架，能够对计算机视觉领域的尺度序列问题进行有效解决，同时在 EPIC-Kitchens 等数据集上表现出色。

    May, 2019

  • 从时间维度出发：多模态自我中心动作识别

    利用时间上下文提高了自我中心视频识别能力的基于转换器的多模态模型。

    Nov, 2021

  • 自我中心行为识别的多模态蒸馏

    本文研究了如何在仅使用 RGB 帧作为输入的情况下，保持多模态方法的性能表现，进而采用多模型知识蒸馏框架来处理这个问题，并在输入视角数量减少的情况下展示了更高的性能。

    Jul, 2023

  • MS-TCN++：基于多阶段时间卷积网络的动作分割

    本文提出了一种多阶段架构的深度学习模型，通过利用扩张时间卷积和双重扩张时间卷积层，实现了在长时间的未修剪视频中对动作进行准确的时序分割，并在三个数据集上取得了最先进的结果。

    Jun, 2020

  • MS-TCN：多阶段时间卷积网络用于动作分割

    本研究提出了一种多阶段架构方法来解决视频动作分段问题，使用扩张卷积神经网络来生成初始预测并利用平滑损失进行训练，模型在多个数据集上实现了最新的研究成果。

    Mar, 2019

  • 基于第一人称视频的动作预测的滚动展开 LSTM

    本文提出了一种基于 Rolling-Unrolling LSTM、序列完成预训练技术和 Modality ATTention 机制的方法来预测自我中心视频中未来的行动和交互对象，并在 EPIC-Kitchens、EGTEA Gaze + 和 ActivityNet 数据集上验证了其有效性。

    May, 2020

  • 实时自我中心动作预测：一种评估方案和方法

    为了进行流式自我中心行动评估，我们提出了一种基于前馈 3D 卷积神经网络和知识蒸馏技术的轻量级行动预测模型，该模型基于过去到未来的蒸馏损失进行优化，实验表明，这种预测能力优越的模型以及针对廉价设备的轻量级方法在自我中心行动预测场景中性能更佳。

    Jun, 2023

  • 预测未来：联合学习模型用于行动预测

    本篇论文提出了一种行动预测模型，受人类神经结构的启发，在预测未来视觉和时间表现方面，能够预测合理的未来行动，并证明使用视觉和时间语义的场景表示结合递归生成对抗网络 (GAN) 框架可以实现未来表现的表示综合，该模型在多个数据集上优于当前最先进的方法。

    Dec, 2019

  • 用于动作分割和检测的时序卷积网络

    介绍了一种新的 Temporal Convolutional Networks 模型，可用于对视频中动作的细粒度分割和检测，具有高效性和良好的表现。

    Nov, 2016

  • 端到端多模式视频时间定位

    本文提出了一种基于多模态框架的文本指导视频时间地基方法，采用 RGB 图像、光流和深度图来提取视频的补充信息并通过 transformers 设计动态融合方案进行交互学习，在 Charades-STA 和 ActivityNet Captions 数据集上实验表明，该方法表现优越。

    Jul, 2021