CVPRJan, 2022

使用自由形式的文本查询进行手语视频检索

PDF
TL;DR本文介绍了一种通过迭代学习的 SPOT-ALIGN 框架来改善印式手语检索与识别的效果，该框架利用大规模的美式手语数据集 How2Sign，使用交叉模态嵌入技术以及自由文本查询来挖掘手语视频集合并且解决标注数据不足的问题。
sign languagevideo retrievalcross-modal embeddingsiterative learningspot-align
发现论文，激发创造
  • 利用词嵌入进行术语对齐

    本文提出了一种使用大型口语语言模型将定位与相应字幕对齐的方法，通过使用单一模态，我们的方法计算成本低廉且可与现有的对齐技术相结合，我们在 mdgs 和 bobsl 数据集上定量证明了我们的方法的有效性，词对齐得分可达到 33.22 BLEU-1 得分。

    Aug, 2023

  • 搜索美国手语手指拼写的内容

    本文介绍了一个针对手语视频的自然语言处理方案，包括识别、翻译、搜索等任务，该方案对于使人工智能技术可被聋人使用至关重要。作者提出了一种端到端的模型 FSS-Net 来解决手语视频中的手指拼写关键词或短语的搜索问题，并经过实验证明，该模型对于搜索和检索模型来说是一个十分关键的组成部分，能够明显优于其他基准模型的性能。

    Mar, 2022

  • 基于概率分布建模的不确定性感知手语视频检索

    提出了一种新的基于不确定性感知的概率分布检索 (UPRet) 方法，以概率分布的形式理解手语视频和文本之间的映射过程，并探索它们的潜在相互关系，实现了灵活的映射。在三个基准测试上进行的实验展示了我们方法的有效性，分别在 How2Sign (59.1%)、PHOENIX-2014T (72.0%) 和 CSL-Daily (78.4%) 上取得了最先进的结果。

    May, 2024

  • 视频中无词典手语识别：数据、模型和手势者自适应

    研究美国手语中指拼字字母的视频序列识别问题，并通过收集和注释新的连续指拼视频数据集，比较多种类型的识别器，探索签名者差异问题。基于深度神经网络的特征，我们的半马尔可夫条件随机场模型在签名者依赖和多签名者情景下均取得较高的字母识别准确率。

    Sep, 2016

  • 连续手语视频中的主题检测

    本研究介绍了手语主题检测的新型任务，基于大规模视频数据集 How2Sign，提供该任务的强基线以及常用视觉特征的比较。

    Sep, 2022

  • 利用现有资源：使用协同信息源提取视频表示

    该论文旨在将来自不同模态的视频信息压缩为单一、紧凑的表示形式，以用于自由格式文本查询的视频检索任务。通过运用预训练的语义嵌入、自动语音识别和光学字符识别等方法，采用协作专家模型来聚合信息，具有良好的检索性能。

    Jul, 2019

  • SignVTCL: 多模态连续手语识别的视觉 - 文本对比学习增强

    利用多模态数据和语言模型的泛化能力，通过视觉 - 文本对比学习，提出了一种多模态连续手语识别框架 SignVTCL，它整合了视频、关键点和光流等多模态数据，训练了统一的视觉骨干并获得更强大的视觉表示，同时通过视觉 - 文本对齐方法在词汇和句级别确保视觉特征与手语之间的精确对应，实验结果表明，SignVTCL 在三个数据集上取得了领先于之前方法的最新成果。

    Jan, 2024

  • 通过跨语言对比学习实现领域感知手语检索的 CiCo

    本文研究手语检索问题，提出了一种以跨语言和视频 - 文本检索为特点的交叉检索方法，同时使用领域无关手语编码器并采用伪标签技术，取得了在不同数据集上 22.4%~28% 和 13.7%~17.1% 的 T2V 和 V2T R@1 提升。

    Mar, 2023

  • 手语视频字幕对齐

    提出一种用于对手语视频中的异步字幕进行时间对齐的 Transformer 体系结构，使用 BERT 字幕嵌入和 CNN 视频表示来对两个信号进行编码，并通过一系列的注意层进行交互，输出逐帧预测，从而大幅改善了现有的对齐基线。

    May, 2021

  • 观察、阅读和查找：学习如何从多个主管中辨别迹象

    本文主要研究了如何识别手语视频中特定手语的位置，通过多种监督方法和学习框架，我们建立了一个机器学习模型并使用低样本数据验证了其有效性，并贡献了一个机器可读的英国手语字典数据集 BSLDict。

    Oct, 2020