D3TW: 区分性可微分动态时间规整方法 用于弱监督动作对齐和分割
本文提出了 DP-DTW 方法,用于学习类别特定的判别式原型,以便在时间识别任务中实现更好的性能,并且结合端到端深度学习,可在标准基准测试中实现最先进的弱监督行动分割问题,并通过对所学行动原型的详细推理来启用输入视频的详细摘要,即可以通过将输入序列与行动原型对齐来获得基于行动的视频摘要。
Mar, 2021
本文提出了一种基于双层优化和深度声明网络的 DTW 层,可以将 DTW 表示为连续的优化问题,并计算出最优的对齐路径,可用于自动化的时间序列数据对齐。
Mar, 2023
本文提出了一种针对同一过程(如人类动作)的时间序列(例如视频)的弱监督表征学习方法,通过对全局时间序列进行对齐,并利用对齐的隐变量跨序列对的全局时间顺序作为监督信号进行表征学习,通过最优序列对齐进行嵌入网络的训练。通过大量实验表明,该方法在动作分类、少样本学习和视频同步等任务中均比之前的方法性能有了明显提高。
May, 2021
本研究提出了一种自监督学习方法,利用时间视频对齐作为前提任务,同时利用帧级别和视频级别信息,通过时间对齐损失和时间正则化项的结合来训练编码器网络,通过在不同数据集上的广泛评估验证其在视频表示学习方面的出色性能。
Mar, 2021
在这篇论文中,我们提出了一种基于动态时间规整(DTW)距离度量的可微学习损失函数,并利用软 DTW 来计算 DTW,该方法可用于平均时间序列和聚类时间序列,且在此任务中比现有基线表现更好。接着,我们通过最小化机器输出时间序列与基准标签的软 DTW 距离来调节其参数。
Mar, 2017
本文提出了一种神经网络模型来进行任务自适应时间对齐,使用注意力模型开发了一个明确的具有更大畸变不变性的时间对齐机制,并通过度量学习进行训练,与传统的基于 DTW 的可学习模型不同,它能够学习目标任务的最佳数据相关对齐,实验证明了我们模型在在线签名验证方面的超过 DTW 并且创造了最先进的性能。
Sep, 2023
本文介绍一种无监督的视频对准方法,通过人体检测、姿态估计、VGG 网络等机器视觉工具提取并结合构建多维时间序列,利用 Diagonalized Dynamic Time Warping (DDTW) 算法对相同动作的视频进行对齐,采用新型评价指标 Enclosed Area Error (EAE) 显示本文方法在视频对齐任务和相位分类任务上均优于之前最先进的方法 (TCC 等)。
Apr, 2023
本文提出了一种弱监督的在线动作分割框架,采用动态规划方法来在线分割流媒体视频,并通过引入 Online-Offline Discrepancy Loss(OODL)优化分割结果的时间一致性,同时仅在训练期间使用多视角帧级一致性作为弱标注来提高精度及减少标注成本,实验结果在烹饪和组装等两个领域的 Breakfast 和 IKEA ASM 数据集中均得到了验证。
Mar, 2022
本文提出了基于动态时间扭曲 (DTW) 框架的动态帧扭曲 (DFW) 技术,该技术能够对视频进行基于逐帧表示的单独识别,并对测试序列与模型序列进行对齐。并提出了一过程 DFW 和二过程 DFW 两种方法,使其能够与分割同时进行。在 RAVEL 数据集、Hollywood-1 和 Hollywood-2 公共数据集上进行了测试并进行了性能比较。
Jun, 2014