提取快速和慢速动作:包含时间间隔信息的用户操作嵌入
这篇论文分析了当前视频中人类活动理解的研究现状和未来方向,探讨了数据集,评估指标,算法和未来发展方向,并提出需要掌握的信息以实现活动理解的重大进展。
Aug, 2017
Moments in Time数据集是一个包含100万短视频的大型人工注释集合,主要用于研究动态事件的空间-音频-时间动态建模,包括339个类别的活动标注,可作为发展至人类日常处理的复杂性和抽象推理水平的模型的新挑战。
Jan, 2018
该研究聚焦于利用具有重要视觉作用的时间因素识别视频中的人类活动。研究回顾了传统活动定义,提出限定为特定目的的一系列动作的复杂动作。研究提出了具有时域感知特性的卷积神经网络,并取得了在Charades、Breakfast Actions和MultiTHUMOS数据集上的高准确率,表明可用于实际应用中。
Dec, 2018
本研究通过构建行动图和高阶图特征提出了一种用户移动社交应用程序参与预测框架,并用于150k Snapchat新用户的预测。
Jun, 2019
该研究通过构建一个基于 '时间数据集' 的分类器来研究理解视觉世界如何随时间变化以及在视频理解中,Temporal与Static Action Classes 的区别;并表明更多的时间数据可以帮助提高模型性能。
Jul, 2019
本研究提出了一种基于图神经网络的新型模型,通过学习用户在时空数据上的行为来建模,使用周期性图可以实现保存用户的空间模式和时空模式,该模型可用于预测不完整的人口属性。
Jun, 2020
本文研究生活时尚视频中的时间人类行为定位,提出一个基于预期持续时间的简单而有效的方法,该方法使用数据集手动注释的13,000个行动,并分析它的语言和可视模态交互,并通过实验证明,相对于以往方法,该方法具有补充信息,并且在时间行动定位任务上的性能更好。
Feb, 2022
ProActive是一个神经标记的时间点过程(MTPP)框架,用于对活动序列中的动作进行连续时间建模,同时解决了下一个动作预测、序列目标预测和端到端序列生成三个高影响问题。
Jul, 2023
自动人类行为共现识别任务介绍,通过视觉和文本信息,利用ACE数据集和图链接预测模型自动推断两个动作是否同时发生,在不同数据领域中学习图表示,并捕捉到不同的关联信息。
Sep, 2023
用户嵌入在用户参与度预测和个性化服务中起着至关重要的作用。我们提出了User Stateful Embedding(USE),通过存储先前的模型状态并在未来重新访问,生成和反映用户的不断演变的行为,并通过与同一用户预测相结合的对比学习目标进一步提高嵌入的独特性和代表性。实验证明USE在动态用户建模中将历史和最近的用户行为序列整合到用户嵌入中具有卓越的性能。
Mar, 2024