IJCAIApr, 2022

视频流连续学习中基于注意轨迹的随机相干性

PDF
TL;DR提出一种新的基于神经网络的方法，该方法利用类似人类的注意机制来自主地以像素为单位学习视频流的表示，本文的实验表明，该方法可以在少量监督的情况下进行开放式类增量分类。
intelligent agentsmachine learningneural networkunsupervised learningvideo stream
发现论文，激发创造
  • 用于时空视觉注意的循环混合密度网络

    本研究提出了一种基于高斯混合模型的时空注意力模型，并使用人类注视数据进行训练，相比先前的方法，该模型在影片显著性预测方面具有最先进的表现，并在动作分类准确性方面取得了改进。

    Mar, 2016

  • 利用视频连续性进行自监督的时空表征学习

    该文章提出了一种名为 Continuity Perception Network (CPNet) 的自我监督学习方法，旨在利用视频连续性探索视频表示的本质，提出三种新的任务，促进视频表示学习，其在多个任务中表现优异。

    Dec, 2021

  • 视频主动学习的时间一致性

    本文提出了一种基于时间相干性的新的主动学习方法，旨在利用物体检测的检测结果来定义一个图形模型，以最小化图形模型上定义的能量函数，从而提供假阳性和假阴性的估计。同时我们还引入了一个名为 SYNTHIA-AL 的合成视频数据集来评估在道路场景中的视频物体检测中的主动学习，最后证明本方法在两个数据集上的表现优于主动学习基线。

    Aug, 2019

  • 无标签视频中的物体中心表示学习

    本研究介绍了一种从未标记的视频中进行无监督学习的新方法，通过引入一种面向物体的时间相干性方法来促进学习具有相似表征的物体，并在多个基准数据集上展示了与竞争无监督方法相比显著的准确度提高。

    Dec, 2016

  • 利用时序相干性进行自监督单次视频再识别

    本文提出了一种新的基于时间一致性递进学习的框架，利用自监督辅助任务来捕捉未被标记的轨迹之间的关系，从而更好地实现视频检索中的标记，相比现有技术提高了高达 8% 的未标记数据真实标记的准确性和重识别的性能。

    Jul, 2020

  • 基于一致性约束的序列 Transformer 关注模型在部分可观测场景中的应用

    本文提出序列转换器关注模型（STAM），以在资源有限的情况下，部分观察完整图像并仅基于过去的瞥见预测信息突出位置。使用 DeiT-distilled 设计代理并使用一步演员 - 评论家算法进行培训。此外，为了提高分类性能，还介绍了一种新的培训目标，该目标强制要求完整图像中由教师模型预测的类分布与使用瞥见预测的类分布之间的一致性。在观测图像总面积仅为 4％的情况下，引入一致性损失的训练目标在 ImageNet 和 fMoW 数据集上分别提高了 3％和 8％的准确性。此外，在 ImageNet 和 fMoW 上观察到的像素数量减少了近 27％和 42％。

    Apr, 2022

  • 基于条件的视频目标中心学习

    该论文提出了一种弱监督学习方法，以对象为中心的表示和光流条件模型，可提高现实数据下的实例分割和追踪效果，改进了查询模型的灵活性，并扩展了应用范围。

    Nov, 2021

  • Cohere3D：利用时间一致性进行无监督视觉自动驾驶的表示学习

    为了克服图像中缺乏深度线索的问题，本文提出了一种新的对比学习算法 Cohere3D，用于在长期输入序列中学习一致的实例表示，从而在自动驾驶的下游任务中实现多个输入帧的实例级对应。通过预训练阶段中从 LiDAR 传感器中的原始点云构建长期时序对应来辅助从基于视觉的鸟瞰特征图中提取实例级表示。实验证明该算法在数据效率和任务性能方面都取得显著改进。

    Feb, 2024

  • 条件运动传递的自监督学习

    本篇研究提出了一种新的基于条件运动传播和稀疏光流技术的自监督学习范式，能够有效地学习视觉表征，并在语义分割、实例分割以及人体解析等多个任务上实现最先进的自监督学习表现，还能实现半自动像素级标注。

    Mar, 2019

  • LRR: 基于语言驱动的可重采样连续表示抵抗对抗追踪攻击

    通过使用感兴趣物体的语义文本指导，建立空间 - 时间连续表示，该方法能够在清晰和对抗数据上实现高准确性，有效抵御不同的 SOTA 对抗跟踪攻击。

    Apr, 2024