通过检测动作边界缓解过分割错误
本文提出了一种新颖的本地 - 全局注意力机制来解决行动分割中过度分割问题,同时通过时间金字塔扩张和池化来实现高效多尺度关注,将个体识别与时间推理解耦,并通过行动对齐模块来融合不同的粒度级别预测,从而实现更精确和更平滑的行动分割, 在 GTEA 和 Breakfast 数据集上取得了最先进的准确性。
Apr, 2023
本文介绍了一种基于 Cascaded Boundary Regression 模型的两阶段时间性行动检测方法,通过在第一和第二阶段分别检测类不可知提议和特定操作,使用时空坐标回归来细化滑动窗口的时间边界,有效提高了检测性能。在 THUMOS-14 和 TVSeries 数据集上实验表明,此方法在高 IoU 阈值下表现优异。
May, 2017
通过使用 BaFormer 方法,本研究提出了一种基于时间段分类的新视角,以实现高效的动作分割,过程中运用了 Transformer 的优势,将每个视频段作为实例标记,并赋予了内在的实例分割能力,通过使用全局查询进行类别无关的边界预测,得到连续的时间段建议。
May, 2024
本文提出了一种新的行为建模框架,包括一种名为 Temporal Convolutional Feature Pyramid Network(TCFPN)的新型时态卷积网络和一种名为 Iterative Soft Boundary Assignment(ISBA)的新型弱监督序列建模训练策略,用于进行长且未修剪的视频中的弱监督人类行为分割。 并以 Breakfast 和 Hollywood Extended 这两个基准数据集进行评估,实验结果表明,其方法达到了与最先进方法相当或更好的性能。
Mar, 2018
提出半监督学习方法解决在只有一小部分有标签数据和大量没有标签数据的工程视频中,发现行动并将其分段的任务,其中两个新的损失函数和自适应边界平滑方法也被提出,并在三个基准测试中评估,结果表明它们显著提高了行为分割性能,并在用少量标记数据(5%和 10%)的情况下取得了与全监督相当的结果。
Jul, 2022
本研究提出了一种新的弱监督动作分割方法,通过直接定位几个动作转换来生成伪分割,并利用边界对齐和视频级别监督来有效地过滤噪声并检测转换。实验证明了这种方法在性能和训练速度上的有效性。
Mar, 2024
CASR 通过增强视频因果性来改进各种模型的时间行为分割结果,通过减小因果邻接矩阵在我们构建和骨干模型的预分割结果之间的差异,显著提高了动作分割的性能和因果可解释性。
Nov, 2023
本文提出了一种名为 ASFormer 的高效 Transformer 模型,通过加入局部连接归纳先验、应用预定的分层表示模式和精心设计的解码器来解决应用 Transformer 模型于动作分割任务时遇到的问题,并在三个公共数据集上进行了广泛实验。
Oct, 2021
本篇论文提出了一种名为 Dense Boundary Generator (DBG) 的生成时间性行动提案的高效统一框架,该框架通过实现边界分类和行动完整性回归以获取密集分布提案中的精确时间提案边界和可靠的行动置信度
Nov, 2019
我们提出了一种名为 OTAS 的无监督框架,通过探索局部特征的优点,实现了时域行为分割,并通过自监督全局和局部特征提取模块以及边界选择模块,融合特征并检测行为分割的显著边界。在实验中,我们发现 OTAS 相对于推荐的 F1 分数平均提高了 41%,甚至在用户研究中优于人工标注的地面真值,并且 OTAS 具备实时推理能力。
Sep, 2023