CVPRNov, 2018

自监督事件分割的感知预测框架

PDF
TL;DR本文提出了一种自我监督的、基于认知心理的预测学习框架，通过自适应学习来减少循环神经网络中灾难性遗忘的影响，在三个公共数据集上进行了广泛的实验，表明所提出的方法能够优于弱监督和其他非监督学习方法最多达 24％，并具有完全监督方法相媲美的性能。同时，该方法还能够学习高度区分特征，进而提高动作识别的表现。
self-supervisedtemporal segmentationlong videospredictive learningadaptive learning
发现论文，激发创造
  • 利用时间性进行半监督视频分割

    本文提出了一种端到端可训练的深度学习模型，利用时间信息来利用易于获取的未标记数据，从而解决了视频分割中标签稀缺的问题。实验结果表明，该模型能够显著优于基线方法和逐帧图像分割。

    Aug, 2019

  • 连续时间嵌入的无监督动作类别学习

    该研究提出了一种基于连续时间嵌入的无监督学习方法，通过鉴别视觉序列中课程的聚类段以实现发现非结构化视频中的动作。该方法被评估在三个数据集上，可以适用于未知情景下的视觉内容分析

    Apr, 2019

  • 使用神经网络进行预测性事件分割与表示：一种自监督模型，并通过心理实验进行评估

    本文探讨事件分割的机制，介绍了一种基于自监督模型和神经网络的事件分割模型，并利用心理实验验证了该模型的有效性，结果显示该模型能够产生类似于人类的事件边界和事件表示，研究对事件认知和大脑事件分割的理解做出了贡献。

    Oct, 2022

  • 基于多模态自监督学习的渐进式视频摘要技术

    本文介绍了一种基于深度神经网络的视频摘要方法，该方法使用了多模态自监督学习框架，该框架可以在不需要大规模标注数据的情况下，通过视频与文本之间的语义一致性来获取视频的语义表示，并提出了一种渐进式摘要方法。实验表明，该方法的排名相关系数和 F 分数均优于现有视频摘要方法。

    Jan, 2022

  • 不再取巧：实现时间自监督的潜力

    我们提出了更具挑战性的帧级自我监督任务和有效的增强策略，通过增加 Transformer 模型来训练从对比学习中预训练的单帧视频表示，大幅提升了通过时间自我监督学习到的特征的质量，并且在高水平语义任务和低水平时序任务上表现出卓越的性能。

    Dec, 2023

  • 学习在大规模视频数据中本地化时间事件

    该研究提出了两种方法来解决大规模视频数据中事件的时间定位问题，一种是采用梯度提升决策树模型，另一种是采用基于帧级数据、视频级数据和定位模型的深度学习模型组合，在第三届 Youtube-8M 视频识别挑战中获得第 5 名。

    Oct, 2019

  • SFGANS 自监督的人体动作分割未来生成器

    通过自我监督方法生成原始特征向量的改进表示，提高了现有模型在行动分割的不同子任务上的性能。

    Dec, 2023

  • 重新审视分层方法，用于持久长期视频预测

    本文重新审视了视频预测中的分层模型，通过先估计语义结构序列，再通过视频到视频的转换将结构转化为像素，我们展示了用随机循环估算器模拟离散语义结构空间中的结构及其动态来进行成功的长期预测，通过在汽车驾驶和人类舞蹈等三个数据集上的评估，证明了我们的方法能够在非常长的时间范围内生成复杂的场景结构和运动，并且取得了比现有方法长几数量级的预测时间，代码和完整视频可在此 https URL 获得。

    Apr, 2021

  • 用于长距离视频理解的时间聚合表示

    本文提出了一种灵活的多粒度时间聚合框架，用简单的技术如最大池化和注意力实现了最新的下一步行动和密集预测，并在 Breakfast，50Salads 和 EPIC-Kitchens 数据集上取得了最新的实验结果，且兼容于视频分割和动作识别。

    Jun, 2020

  • 多视角教学视频的弱监督在线动作分割

    本文提出了一种弱监督的在线动作分割框架，采用动态规划方法来在线分割流媒体视频，并通过引入 Online-Offline Discrepancy Loss（OODL）优化分割结果的时间一致性，同时仅在训练期间使用多视角帧级一致性作为弱标注来提高精度及减少标注成本，实验结果在烹饪和组装等两个领域的 Breakfast 和 IKEA ASM 数据集中均得到了验证。

    Mar, 2022