AAAIDec, 2023

使用推拉学习方案的高斯混合建议来捕捉弱监督时态视频铺垫的多样事件

PDF
TL;DR通过引入高斯混合建议 (GMP) 和拉推学习模式，我们提出了一种新的弱监督时序视频定位方法。我们的方法在包括各种重要性、质心和范围的每个高斯中学习，以达到对复杂事件的有效表达和各种情况下的良好性能。
发现论文，激发创造
  • 平面推动的概率数据驱动模型

    本文提出了一种数据驱动的方法来建模平面推动交互，以预测推动的最可能结果及其期望的可变性，并使用变分异方性高斯过程 (VHGP) 来学习模型。我们展示了该方法只需不到 100 个样本就能学习准确的模型，并在 1000 个样本以内即可达到性能饱和。通过我们收集的轨迹数据集来验证了结果的准确性，并使用学习的模型研究了推动的可变性和准静态假设的有效性。

    Apr, 2017

  • 视频的时空高斯混合层

    本文介绍了一种新的卷积层 Temporal Gaussian Mixture (TGM) layer，并阐述了它如何用于有效地捕捉连续活动视频中更长期的时间信息，其中 TGM 层是一个由可完全区分的一小组参数（例如，高斯的位置 / 方差）所控制的时间卷积层，并且我们通过多层 TGM 层展现了完全卷积的视频模型进行活动检测，通过对 Charades 和 MultiTHUMOS 等多个数据集的广泛实验，验证了 TGM 层的有效性，显著优于现有技术。

    Mar, 2018

  • 视频弱监督时序检索的正则化双分支提议网络

    该研究提出了一个正则化的双分支提议网络，以同时考虑针对具有语义相似内容的不同片段之间的内部对抗和不同样本之间的外部对抗，从而应用于视频帧检索中，具有良好的效果。

    Aug, 2020

  • 基于提议的多实例学习用于弱监督时间动作定位

    研究了针对弱监督下的时空动作定位问题，提出了一种基于提议的多实例学习框架，其中包括环绕对比特征提取模块来抑制具有对比性的短提议、提议完整性评估模块来抑制低质量提议以及实例级别排名一致性损失来实现动作定位。实验结果表明，该方法性能优越。

    May, 2023

  • 基于模型的高斯过程演示学习

    本文提出了一种基于高斯混合回归的新型多输出高斯过程（MOGP）方法，利用 MOGP 的协方差将从演示中检索的变异性捕获起来，使机器人能够精确跟踪经过点，同时在高变异地区保持的柔顺性。

    Oct, 2019

  • DeepGMR: 学习用于配准的潜在高斯混合模型

    引入了 DeepGMR 算法，该算法是首个显式利用概率注册范例的基于学习的点云配准方法，利用混合高斯模型模拟两点云之间的概率分布，通过神经网络和两个可微计算块进行配准，从而实现产生全局注册方法的目的。该方法在合成和真实数据上均表现出比几何和基于学习的配准方法更好的性能。

    Aug, 2020

  • GMMFormer：基于高斯混合模型的 Transformer 用于高效部分相关视频检索

    PRVR 中，clip 建模对于捕捉文本和视频之间的部分关系至关重要。本文提出了 GMMFormer，一种基于高斯混合模型的 Transformer，通过隐式建模来解决 PRVR 方法的效率问题。此外，本文还提出查询多样性损失来区分相关的文本查询，使嵌入空间更加密集且含有更多语义信息。

    Oct, 2023

  • 局部压缩视频流学习用于通用事件边界检测

    使用压缩视频表示学习方法进行事件边界检测，利用压缩域中的丰富信息，提取 P 帧特征并使用轻量级 ConvNets 和时序关系捕捉器进行特征表示精炼，最后使用简单分类器确定视频序列的事件边界。

    Sep, 2023

  • 探索使用扩散模型的迭代细化来进行视频定位

    DiffusionVG 是一个以扩散模型为基础的新框架，通过生成随机噪声输入逐步改进的逆向扩散过程，将视频定位作为一项条件生成任务，并在主流 Charades-STA 和 ActivityNet Captions 基准测试中展示了竞争性甚至优越的性能。

    Oct, 2023

  • 可解释分割的可微高斯原型层

    该论文提出了一种基于高斯原型层的梯度原型学习方法，并演示了两种基于区域建议和高斯混合模型的可解释分割网络，并在农业数据集上进行了评估。

    Jun, 2023