AAAIJan, 2023

一次性时间句子定位的假设树构建

PDF
TL;DR本文提出了一种基于叶子节点为每个视频帧的多假设片段树（MHST）的方法，从而解决在极少的帧注释下，实现单次时序句子本地化（one-shot TSL）的问题，并提供了自监督损失函数，与现有方法相比取得了具有竞争力的性能。
temporal sentence localizationone-shot tslvideo annotationmhstself-supervised loss functions
发现论文，激发创造
  • 分层本地 - 全局变压器用于时间句子定位

    本文介绍了一种新的 Hierarchical Local-Global Transformer 模型来解决视频和文本之间的 fine-grained 语义对齐问题，并将其应用于 temporal sentence grounding 任务，通过跨模态平行变压器解码器将其编码为最终的基础。

    Aug, 2022

  • 视频目标分割的层次化时空 Transformer

    本文提出了一种名为 HST 的半监督视频对象分割框架，使用 Swin Transformer 和 Video Swin Transformer 提取图像和视频特征，并使用内存读取操作产生层次特征以精确重构对象蒙版，该框架在处理复杂场景下具有有效性和鲁棒性，尤其是 HST-B 在多个流行基准测试中优于现有技术。

    Jul, 2023

  • 视频语料库中的时刻定位层级多模态编码器

    本文提出了一种名为 HAMMER 的 HierArchical Multi-Modal EncodeR 模型，通过在粗略的片段级别和细粒度的帧级别编码视频，从多个子任务中提取不同尺度的信息，从而解决了在未处理和未分段的视频中定位未定义段的挑战。实验结果表明，我们的方法优于以前的方法和强基线，是此任务的新的 state-of-the-art。

    Nov, 2020

  • 通过分层聚合实现树形结构感知的 Few-Shot 图像分类

    通过预设任务获得的知识可以增强 few-shot 学习的性能，本文提出了一种插件式的层次树结构方法 (HTS)，通过层次树构建和选择汇聚组件在下游任务中选择和整合最佳特征表征来适应新颖类别，实验结果表明，该方法在四个基准数据集上实现了新的最佳性能。

    Jul, 2022

  • 流式视频中的时间语句定位

    该研究旨在解决一项新颖任务 —— 流媒体视频中的时间句子定位，通过提出 TwinNet 结构和语言引导的特征压缩器，该方法在多个数据集上进行了广泛实验证明了其卓越性能。

    Aug, 2023

  • 多教师知识蒸馏下视频中高效的时间句子定位

    本论文提出了一个基于知识蒸馏的新型高效多教师模型（EMTM），旨在在维持高性能的同时，实现在未修剪视频中检测自然语言查询所描述的事件时间戳的挑战。

    Aug, 2023

  • 重新思考视频采样和推理策略，用于时间性句子定位

    本文提出了一种用于时序句子定位的新型 Siamese 取样与推理网络（SSRN），该网络使用 Siamese 取样机制在已有取样的基础上生成额外的情境帧，以更精细地理解活动，解决了已有方法中忽略的时序数据偏差和推理偏差问题，并能够在保证模型泛华能力的同时，对三个具有挑战性的数据集进行有效的定位。

    Jan, 2023

  • 更加注重细节：视频中句子的弱监督时间根据地

    本文研究了弱监督下的视频句子时间定位问题，提出了一个两阶段模型，通过多尺度滑动窗口形成时间片段的间隔性建议，和在特征空间进行粗细匹配定位，最终在 ActivityNet Captions 数据集和 Charades-STA 数据集上取得良好的表现。

    Jan, 2020

  • TSPNet: 基于时间语义金字塔的手语翻译分层特征学习

    本文提出了一种基于多种时间粒度的新型手语视频片段表示法，通过时空语义金字塔网络 (TSPNet) 来实现手势识别和特征学习，该方法加强了前沿技术的表现并优化了手语翻译过程。

    Oct, 2020

  • 视频中时间句子定位的自适应提议生成网络

    本文提出了一个自适应提案生成网络（APGN）来解决视频中的时间句子定位问题，使用前景 - 背景分类和提议生成来提高效率和减少冗余，并通过上下文交互增强生成提议的语义，取得了显著的优于先前最先进方法的性能。

    Sep, 2021