temporal action localization | BriefGPT

关键词temporal action localization

搜索结果 - 77

自闭症谱系障碍婴儿未修整视频中行为瞬间的本地化
采用机器学习技术和自注意力的时间动作定位模型，针对自闭症谱系障碍（ASD）的幼儿视频，发展了简化复杂建模和强调效率的 ASD 行为识别方法，为 ASD 筛查提供了有前景的早期干预和支持方案，成为首个实施未剪辑的 ASD 幼儿视频中端到端时态
PDF3 months ago
测试时零样本时序动作定位
通过引入一种新的方法 (T3AL)，该方法对 Temporal Action Localization (TAL) 进行 Test-Time adaptation，并采用自我监督学习的启发式程序进行动作区域定位，使用最先进的字幕模型提取的帧
PDF3 months ago
UniAV：统一的音频视觉感知支持多任务视频定位
UniAV 是一种统一的视听感知网络，可以联合学习时间动作定位（TAL）、声音事件检测（SED）和视听事件定位（AVEL）任务，并通过使用预训练的文本编码器设计统一的语言感知分类器，实现对各种类型实例的灵活检测。UniAV 通过更少的参数比
PDF3 months ago
LoSA：用于缩放端到端时序动作定位的长短程适配器
通过引入第一个专门为处理未修剪视频的 TAL 设计的内存和参数高效的背骨适配器 LoSA，本研究在标准 TAL 基准测试 THUMOS-14 和 ActivityNet-v1.3 上明显优于现有方法，通过使视频骨干可以适应超过十亿参数的模型
PDF3 months ago
PLOT-TAL -- 基于优化输运的少样本时序动作定位的提示学习
本论文介绍了一种新颖的少样本学习中的时间动作定位 (TAL) 方法，通过在实际视频中泛化不同情境的能力来解决常规单提示学习方法存在的过拟合问题。采用多提示学习框架，增强了每个动作的一组多样化提示，更有效地捕捉通用特征并减少过拟合风险。此外，
PDF3 months ago
切割与检测：使用大型基础视频理解模型对切割未修剪视频进行人类跌倒检测
基于大型视频理解模型，本研究探讨了在未修剪视频中进行人类跌倒检测的性能，并利用预训练的视觉变换器进行多类别动作检测，包括 “跌倒”、“躺下” 和 “其他 / 日常活动”。方法中介绍了一种基于未修剪视频简单截取的时间动作定位方法，并引入了简单
PDF5 months ago
ICCV弱监督时序动作定位中前景和背景分离的再探：基于聚类的方法
基于弱监督学习的时间动作定位，通过只用视频级别的动作标签来定位视频中的动作实例。通过无监督的片段聚类，提出了一种基于聚类的前景与背景分割算法，通过产生匹配多个可能的先验分布的高质量伪标签，确保片段的聚类分配与其前景和背景标签的准确关联，从而
PDF6 months ago
SADA：语义敌对无监督领域适应用于时间动作定位
本文介绍了一种针对稀疏时序行为定位的无监督领域自适应方法，称为语义对抗无监督领域自适应 (SADA)。通过引入一种对局部类别分布敏感的新型对抗损失函数，SADA 在多个领域之间的自适应中显著提升性能。相比于完全监督的最先进方法和其他 UDA
PDF6 months ago
无监督的时序动作定位：基于自主学习的渐进式学习
提出了一种新颖的自适应递增学习模型，通过改进聚类置信度和可变速增量实例学习策略的设计，提高无监督时间动作定位的效果。
PDF7 months ago
多分辨率音视频特征融合用于时序动作定位
多分辨率音视频特征融合（MRAV-FF）是一种创新的方法，通过层级化门控交叉注意机制将不同时间分辨率的音视频数据合并，以提高时域动作定位任务的性能。
PDF9 months ago
边界感知的时序动作定位的提案生成方法
通过引入对比学习，并将背景帧作为难负样本，提出了一种独立于现有 Temporal Action Localization（TAL）网络架构的边界感知候选生成方法（BAPG），用于改善 TAL 的性能。在 THUMOS14 和 Activit
PDF9 months ago
ICCV对时序动作定位模型的数据效率和计算效率进行基准测试
本文研究了时间动作定位中当前深度学习模型在数据和计算能力受限制的情况下的性能表现，并发现 TemporalMaxer 模型在数据受限情况下表现最佳，推荐 TriDet 模型在训练时间受限时使用。另外，通过将不同长度的视频输入模型进行推理，发
PDF10 months ago
对于 Ego4D Moment 查询，NMS 阈值很重要 -- 2023 Ego4D Moment 查询挑战赛第二名解决方案
本文介绍了我们团队对 Ego4D Moment Queries Challenge 2023 的提交，扩展了 ActionFormer 方法以实现时间动作定位，并在训练过程中改进了地面真实分配策略和使用了精炼的 SoftNMS 方法，取得了
PDFa year ago
视频片段定位调查
对现有的视频时刻定位技术（包括监督、弱监督和非监督），以及可用于视频时刻定位的数据集进行全面回顾，并讨论了大规模数据集和可解释视频时刻定位模型等未来发展方向。
PDFa year ago
CVPR基于提议的多实例学习用于弱监督时间动作定位
研究了针对弱监督下的时空动作定位问题，提出了一种基于提议的多实例学习框架，其中包括环绕对比特征提取模块来抑制具有对比性的短提议、提议完整性评估模块来抑制低质量提议以及实例级别排名一致性损失来实现动作定位。实验结果表明，该方法性能优越。
PDFa year ago
动作敏感度学习用于时间动作定位
本研究提出了一种 Action Sensitivity Learning 框架，旨在识别和定位动作示例，并通过轻量级的 Action Sensitivity Evaluator 和 Action Sensitive Contrastive
PDFa year ago
针对视频的弱监督时间动作定位的查询 - 键注意力建模
本文提出了一种名为 VQK-Net 的网络，它采用了视频特异性的查询 - 键（query-key）注意力建模，通过学习每个输入视频每个动作类别的唯一查询来检测目标视频中的相应动作并定位，从而实现弱监督的时间动作定位，并在 THUMOS14，
PDFa year ago
双向语义一致性约束的弱监督时间动作定位
该研究提出了一种名为双向语义一致性约束的方法来改善当前弱监督下的视频分类及定位发现问题。该方法采用时间相关增强来打破正样本动作与其 co-scene 动作之间的相关性，通过语义一致性约束来获得足够的信息区分两者，从而较好地应用于当前的 WT
PDFa year ago
通过弥合伪标签中的训练测试差距来提高弱监督的时间动作定位
该研究提出了一种有效的管道来学习更好的伪标签，其中含有高斯加权融合模块，伪标签作为一个在约束条件下的优化问题，以及 Delta 伪标签的概念，实现了超出现有方法的优越表现。
PDFa year ago
稀疏多级边界生成器加速时间动作建议的学习
提出了一种新的模型 ——Sparse Multilevel Boundary Generator (SMBG)，通过边界分类和动作完整性回归来提高边界敏感方法的效率，引入了稀疏特征提取置信度头来优化提议特征生成器，并提出了全局指导损失来改善
PDFa year ago