Aug, 2018

AVA-Speech: 一部电影中密集标注的语音活动数据集

PDF
TL;DR本文描述了一个新的数据集，其中含有 YouTube 视频中密集标记的语音活动，目的是为该任务创建一个共享，可用的数据集，并在 AVASpeech 上使用现成的最先进的音频和视觉模型报告基准性能数字，以便于未来的研究。
speech activity detectionendpointingaudio and vision-based approachesdatasetbenchmark performance
发现论文，激发创造
  • AVA-ActiveSpeaker: 一份用于活动说话人检测的音频 - 视觉数据集

    本文介绍了 AVA-ActiveSpeaker 数据集，并提出了一种新的视听方法用于活跃演讲者检测，并分析其性能和数据集的贡献。

    Jan, 2019

  • AVA-AVD: 野外音视频说话人分离

    本研究致力于提高在野外视频中识别 “谁何时说话” 的音视频扬声器分离的准确性，它创建了 AVA 音频 - 视觉扬声器分离（AVA-AVD）数据集和一种称为 AVR-Net 的新方法，通过加入 AVA-AVD 数据集的训练可以在相对较小的数据集上显着提高结果。

    Nov, 2021

  • 跨模态监督学习视频中的活动发言者检测

    本文利用音频监督视频中活跃讲话者检测的学习，通过声音活动检测 (VAD) 以弱监督的方式指导基于视觉的分类器学习。使用时空特征进行分类，学习人特定的模型以及在线适应性的改进，利用时间连续性克服了缺乏干净训练数据的问题。通过跨模态学习，不需要监督，将知识从一种模式传递到另一种模式，建立了自学习活跃讲话者检测系统。

    Mar, 2016

  • SVVAD：用于说话人验证的个人语音活动检测

    我们提出了一种基于说话人验证的语音活动检测框架，实现了无标签训练方法并使用三元损失来适应 SV 中最具信息的声学特征。结果表明，相对于传统方案，该框架在混合说话人的条件下明显提高了等误差率，并揭示了人类判断中不同语音部分的重要性。

    May, 2023

  • 视听场景感知对话

    本论文介绍了场景感知对话任务，通过视频和音频研究场景，并在对话历史中利用上下文线索，以回答关于场景的问题；同时提出了 AVSD 数据集，并通过多项定量和定性指标评估了基础模型的表现，结果表明模型必须充分利用所有可用输入（视频、音频、问题和对话历史）才能在该数据集上取得最佳表现。

    Jan, 2019

  • 基于在线视频大规模声学嵌入的日常生活活动（ADL）识别

    本论文提出了一种基于上百万个公共在线视频声音剪辑的语音识别框架，该框架利用深度学习技术不需要标注音频数据，不需要进一步的特征处理或离群值过滤。在日常活动中验证了该方法，取得了 64.2% 和 83.6% 的平均准确率。

    Oct, 2018

  • Naver 参加 ActivityNet Challenge 2019 -- 任务 B 的主动式发言人检测 (AVA)

    本研究使用 3D 卷积神经网络和一组时间卷积和 LSTM 分类器，对可见人是否在说话进行预测，从而在 AVS-ActiveSpeaker 数据集上获得了显著的改进。

    Jun, 2019

  • 针对目标发言者的语音活动检测：晚宴场景下多说话人对话系统的一种新方法

    提出一种新的 TS-VAD 方法，通过直接预测每个时间帧上每个演讲者的活动来解决重叠说话问题，并使用 i-vectors 作为输入，并扩展到多麦克风情况，并研究了预测演讲者活动概率的后处理策略。在 CHiME6 数据上的实验证明，TS-VAD 取得了优于基于 x-vector 的基准系统 30% 以上的 DER 绝对值的最新结果。

    May, 2020

  • 音频 - 视觉场景感知对话的简单基线

    本文提出了一种基于数据驱动学习的音视频感知对话基准方法，采用注意力机制从海量传感器中区分实用信号和干扰信号，实验结果表明此方法在音视频感知数据集中性能超过现有最先进方法 20% 以上。

    Apr, 2019

  • VoxLingua107：一个口语识别数据集

    本文研究了利用网络音频数据自动识别口语语言的任务。通过从特定语言的 Wikipedia 数据中生成半随机搜索短语，并从 YouTube 中检索视频来提取具有语音的视频片段，并使用语音活动检测和说话人分离提取包含语音的视频片段，最终构建了可用于多种口语识别任务的语言识别模型，自动检索的数据结果优于使用手工标记的专有数据集。

    Nov, 2020