- CVPR无监督动作分割的时态一致非平衡最优输运
我们提出了一种基于解决优化传输问题的长时间、未修剪视频的动作分割任务的新方法。通过将时间一致性先验编码到 Gromov-Wasserstein 问题中,我们能够从视频帧和动作类之间的噪声亲和 / 匹配成本矩阵中解码出一个时间一致的分割。与以 - CVPR增量动作分段的连续时间合成
数据回放是一种成功的图像增量学习技术,但在视频领域的应用尚不成熟。本论文首次探索了视频数据回放技术在增量动作分割中的应用,重点关注动作时间建模。我们提出了一种名为 Temporally Coherent Action (TCA) 的模型,通 - 深度胜于 RGB:使用深度摄像机自动评估开放手术技能
本论文介绍了使用深度相机对开放手术技能进行自动评估的新方法,并通过比较深度相机和 RGB 相机的结果,证明了深度相机在手术技能评估中的潜力。研究还发现,深度相机在物体检测和动作分割方面取得了可比较的结果,并强调了深度相机提供更准确的手部运动 - 时间动作分割的活动语法
通过引入有效的活动语法,本文提出了一种新颖的语法归纳算法,可以从动作序列数据中提取强大的无上下文语法,并开发了一种高效的广义解析器,根据归纳的语法和递归规则将帧级概率分布转化为可靠的动作序列。实验结果表明,我们的方法在两个标准基准评估 Br - ICCVUnLoc:一个用于视频定位任务的统一框架
使用预训练图像和文本模型 UnLoc,通过视频文本融合模型预测每帧的相关性得分和起始 / 结束时间位移,实现了瞬间检索、时间定位和动作分割的统一处理,优于先前的方法。
- 利用三元组损失进行无监督动作分段
本文提出了一种全新的无监督学习框架来从单一的输入视频中学习适合于行动分割任务的动作表示,无需任何训练数据,达到了与现有无监督方法相比更高质量的时间边界恢复,并通过应用聚类算法在学习的表示上取得了具有竞争力的表现。
- DIR-AS: 将个体识别和时间推理分离以进行动作分割
本文提出了一种新颖的本地 - 全局注意力机制来解决行动分割中过度分割问题,同时通过时间金字塔扩张和池化来实现高效多尺度关注,将个体识别与时间推理解耦,并通过行动对齐模块来融合不同的粒度级别预测,从而实现更精确和更平滑的行动分割, 在 GTE - 具有查询自适应变形器的小样本时间动作定位
本研究提出了一种新的少样本学习 (temporal action localization) 设置,使用未剪裁的视频来动态适应新类别和每个视频,同时引入了一个查询自适应变压器 (query adaptive Transformer) 来实现 - ASFormer:用于动作分割的 Transformer
本文提出了一种名为 ASFormer 的高效 Transformer 模型,通过加入局部连接归纳先验、应用预定的分层表示模式和精心设计的解码器来解决应用 Transformer 模型于动作分割任务时遇到的问题,并在三个公共数据集上进行了广泛 - FIFA: 快速推理逼近动作分割
介绍了 FIFA,一种用于动作分割和对齐的快速近似推理方法。使用可微分近似能量函数进行最小化,提高了速度超过 5 倍,同时保持良好性能并在两个动作分割数据集上实现了最先进的结果。
- 混合时间域自适应的行动分割
通过将问题描述为域适应问题,该研究提出了混合时间域适应模型,以在帧和视频级别特征空间中对齐嵌入特征,并进一步与域注意力机制相结合,以便更有效地进行域适应。在 GTEA、50Salads 和 Breakfast 数据集上验证了该方法目前的有效 - CVPR基于 Anchor 约束的集合监督动作分割 Viterbi 算法
本文介绍了一种用于动作分段的弱监视训练方法,通过多层感知器和隐马尔可夫模型生成虚拟标注视频帧,使用锚点约束维特比算法生成伪标注数据,且在比较三个数据集的表现时相对于过去的方法有了更好的表现
- CVPR基于时间加权的层次聚类法用于非监督行动轮廓分割
提出一种全自动且无监督的方法,使用有效的时间加权层次聚类算法,对视频进行行动划分并在五个具有挑战性的动作分割数据集上展示出明显的性能改善。
- CVPR利用动态时间规整学习区分原型
本文提出了 DP-DTW 方法,用于学习类别特定的判别式原型,以便在时间识别任务中实现更好的性能,并且结合端到端深度学习,可在标准基准测试中实现最先进的弱监督行动分割问题,并通过对所学行动原型的详细推理来启用输入视频的详细摘要,即可以通过将 - CVPR全局到局部:视频动作分割的高效结构搜索
探讨如何通过全局到局部的搜索方案寻找更好的时域接收场结合模式以替代手工设计模式,并在现有的动作分割方法中实现最先进的性能。
- AAAI利用自监督的时间关系建模进行动作分割
本篇论文提出了一种有效的 GCN 模块 DTGRM,用于捕获和建模视频帧之间的各个时间跨度的时间关系,并通过提出的自监督任务来增强模型的时间推理能力,这种模块在行为分割方面表现优于现有技术。
- CVPR联合自监督时域适应进行动作分割
本研究提出了一种自监督时序领域自适应方法,将动作分割任务作为一个跨领域问题进行重新构造,通过利用未标记的视频来解决由空间 - 时间变化引起的域间差异问题,同时还使用二进制和连续领域预测两个辅助任务,以匹配局部和全局时间动态的特征空间,表现优 - CVPR基于集合约束的 Viterbi 算法进行基于集合监督的动作分割
该论文介绍了一种新的基于 HMM 的弱监督行为分割框架,其中提出了一种新的 Viterbi 算法和特征 affinities 的正则化方法来提高算法性能。
- 使用互相一致性进行快速弱监督行动分割
本文提出一种基于双分支神经网络的弱监督动作分割方法,并提出了一种新的相互一致性损失(MuCon)来保证分割的一致性,结合文本预测损失达到了当前最新技术方法的准确率,且训练时间快了 14 倍,推理时间快了 20 倍,同时证明了 MuCon 损 - 基于堆叠时空图卷积网络的动作分割
本文介绍一种基于堆叠时空图卷积网络的行为分割方法,利用不同特征节点、长度不定的特征描述符和任意时间边缘连接来处理复杂活动中的大规模图变形,使用编码器 - 解码器设计来提高模型推广能力和位置准确性,且能联合推断得到涵盖全面上下文信息的行为分割