MMNov, 2021

你会变得流行吗？学习预测舞蹈片段的病毒性

PDF
TL;DR本研究使用多种视觉和场景信息，提出了一个新的多模态框架用于全面预测舞蹈挑战的传播趋势。使用金字塔骨骼图卷积网络（PSGCN）模拟身体动作，并引入关系时间卷积网络（RTCN）来利用非局部时间关系进行外观动态建模。提出了一种关注融合方法，最终从不同模态自适应聚合预测。对大规模病毒舞蹈视频数据集进行了实验验证，证明了我们模型的有效性。另外，展示了该模型的多维度推荐和行动反馈等应用。
发现论文，激发创造
  • 从在线舞蹈视频中学习

    通过引入 “Let's Dance” 数据集，作者介绍了如何在视频领域应用深度神经网络方法，并探讨了这些方法在学习如何处理动态数据时的价值和性能，特别是在区分需要使用运动信息分类的动态运动大类方面的困难。

    Jan, 2018

  • 学习跳舞：一种图卷积对抗网络，从音频中生成逼真的舞蹈动作

    本文利用基于图形卷积网络的新方法，通过学习技术从音频信息中自动生成舞蹈，结果显示这种方法在产生自然运动方面优于现有方法。

    Nov, 2020

  • 自动舞蹈视频分割以理解舞蹈编排

    提出将舞蹈视频自动分割为每个动作的方法，并通过组合视觉和音频特征使用时序卷积网络来估计分割点，研究表明所提出的方法能够高精度地估计分割点，并开发了一个应用来帮助舞者练习编舞。

    May, 2024

  • 基于循环神经网络的在线视频流行度预测

    本文研究在线视频传播中的受欢迎程度预测问题，证明可以使用深度神经网络结构，将其作为分类任务来解决。我们提出了一种基于长期循环卷积网络 (LRCN) 的新方法来提取视频中的视觉线索，并将信息的时序性纳入模型。在 Facebook 上发布的超过 37,000 个视频数据集上表明，我们的方法的预测性能比传统浅层方法提高了 30％以上，并为内容创建者提供了有价值的见解。

    Jul, 2017

  • 网络视频中的动作转移：跳舞生成

    本文提出了一种利用计算方法在不同人之间传递身体动作的技术，基于生成网络，可以通过单个网络视频训练个人模型并生成具有照片级真实感的虚拟影像。

    Mar, 2019

  • 深度时间上下文网络顺序预测社交媒体流行度

    研究了社交网络中内容传播的可预测性，提出了一种新的预测框架 Deep Temporal Context Networks (DTCN)，并在 Flickr 图片数据集上的实验结果表明其比现有算法预测热度的准确性更高。

    Dec, 2017

  • 逐步生成更好的初始猜测以实现高质量的人体运动预测

    介绍了一种基于多级设计的人体运动预测方法，结合了空间和时间两个因素，通过两个网络，以预测一个好的猜测值为基础，有效提高了预测的精度。该方法在多项实验数据中胜出并实现了超过前人方法 6-16% 的提升。

    Mar, 2022

  • 关注传染性：利用注意力机制理解社交媒体视频的流行程度

    通过结合 Grad-CAM 可视化方法和软注意力机制，本研究提出了更直观的内容影响视频受欢迎程度的解释方法，并在预测准确性方面取得了竞争性的结果。

    Apr, 2018

  • 基于骨骼的人体动作预测中的代码片段到动作过程学习

    现有的图卷积网络在实现人体动作预测时，大多采用一步方案，直接从历史输入中输出预测结果，未能充分利用人体运动模式。我们观察到人体运动具有过渡模式，并且可以分解为代表每个过渡的片段。我们提出了一种片段到运动的多阶段框架，将运动预测分解为更容易完成的子任务。每个子任务集成了三个模块：过渡姿势预测、片段重建和片段到运动的预测。具体而言，我们首先预测只有过渡姿势，然后使用它们重建相应的片段，得到接近真实运动序列的近似结果。最后，我们对其进行细化，生成最终的预测输出。为了实现网络，我们提出了一种新颖的统一图建模方法，相比于现有方法依赖于分离的时空建模，可以直接有效地传播特征。对 Human 3.6M、CMU Mocap 和 3DPW 数据集进行了大量实验证明了我们的方法的有效性，其达到了最先进的性能。

    Jul, 2023

  • 使用支持向量回归预测在线视频的流行度

    本文提出了一种基于时间和视觉线索的回归方法来预测在线视频的流行度，该方法使用支持向量回归与高斯径向基函数，证明了该方法相比于现有的算法在预测结果上更优且更稳定。同时，将社交和视觉元数据添加后可以进一步提升预测结果。

    Oct, 2015