ECCVOct, 2022

2022 年 Ego4D 挑战赛中英特尔实验室：音视频对话更优秀的基线

PDF
TL;DR报告中介绍了我们在 Ego4D Challenge 2022 中处理 Audio-Visual Diarization 任务的方法，该方法通过对模型的训练计划进行修改改进了声音活动的检测性能，证明了采用现成的语音活动检测模型可以有效地消除误报，而更好的主动说话者检测可提高 AVD 结果。我们的最终方法在 Ego4D 测试集上获得了 65.9% 的 DER，远远优于所有基线，在比赛中取得了第一名。
audio-visual diarizationego4d challenge 2022voice activity detectionactive speaker detectionder
发现论文，激发创造
  • AVA-AVD: 野外音视频说话人分离

    本研究致力于提高在野外视频中识别 “谁何时说话” 的音视频扬声器分离的准确性，它创建了 AVA 音频 - 视觉扬声器分离（AVA-AVD）数据集和一种称为 AVR-Net 的新方法，通过加入 AVA-AVD 数据集的训练可以在相对较小的数据集上显着提高结果。

    Nov, 2021

  • 音频 - 视觉场景感知对话的简单基线

    本文提出了一种基于数据驱动学习的音视频感知对话基准方法，采用注意力机制从海量传感器中区分实用信号和干扰信号，实验结果表明此方法在音视频感知数据集中性能超过现有最先进方法 20% 以上。

    Apr, 2019

  • 基于时空异构图学习的高级音视频日志化技术

    本研究文章介绍我们的新方法 STHG，采用统一的异构图学习框架对视频中的所有说话者进行建模，应用于 Ego4D Challenge 2023 的 Audio-Visual Diarization 任务，取得了 61.1% 的 DER 表现，并在该挑战赛中获得了第一名，同时展示了将该方法应用于 Speech Transcription 任务时表现优异的结果。

    Jun, 2023

  • AVA-ActiveSpeaker: 一份用于活动说话人检测的音频 - 视觉数据集

    本文介绍了 AVA-ActiveSpeaker 数据集，并提出了一种新的视听方法用于活跃演讲者检测，并分析其性能和数据集的贡献。

    Jan, 2019

  • 跨模态监督学习视频中的活动发言者检测

    本文利用音频监督视频中活跃讲话者检测的学习，通过声音活动检测 (VAD) 以弱监督的方式指导基于视觉的分类器学习。使用时空特征进行分类，学习人特定的模型以及在线适应性的改进，利用时间连续性克服了缺乏干净训练数据的问题。通过跨模态学习，不需要监督，将知识从一种模式传递到另一种模式，建立了自学习活跃讲话者检测系统。

    Mar, 2016

  • SVVAD：用于说话人验证的个人语音活动检测

    我们提出了一种基于说话人验证的语音活动检测框架，实现了无标签训练方法并使用三元损失来适应 SV 中最具信息的声学特征。结果表明，相对于传统方案，该框架在混合说话人的条件下明显提高了等误差率，并揭示了人类判断中不同语音部分的重要性。

    May, 2023

  • Naver 参加 ActivityNet Challenge 2019 -- 任务 B 的主动式发言人检测 (AVA)

    本研究使用 3D 卷积神经网络和一组时间卷积和 LSTM 分类器，对可见人是否在说话进行预测，从而在 AVS-ActiveSpeaker 数据集上获得了显著的改进。

    Jun, 2019

  • QuAVF: 面向 Ego4D Talking to Me 挑战的音视频融合质量感知技术

    本文介绍了 QuAVF@NTU-NVIDIA 团队在 Ego4D Talking to Me (TTM) Challenge 2023 中的参赛作品，该作品利用两个模型处理输入视频和语音，通过面部质量分数过滤嘈杂的面部输入数据并实现质量感知融合，取得了 67.4％的均值精度 (mAP) 的最优结果。

    Jun, 2023

  • 2023 年位移式演讲者脱机化挑战的系统描述

    这篇论文描述了我们对会话环境中演讲者和语言进行辨认的解决方案，我们使用了语音活动检测、基于 Resnet 架构的 CNN 进行特征提取以及基于谱聚类的特征聚类。尽管未使用印地语进行训练，所描述的算法在数据集的开发和阶段 1 评估部分获得了 DER 分别为 27.1% 和 27.4% 的指标。

    Jun, 2024

  • 2020 年 VoxCeleb 说话人识别大赛微软说话人分离系统

    本文介绍了 Microsoft 公司的单声道多人对话录音扬声器辨识系统，并用 VoxCeleb 挑战赛 2020 年的说话人辨识赛道进行了评估。论文首先介绍了解决真实多人对话记录中的问题的系统设计。然后介绍了组件的细节，其中包括 Res2Net 基于说话人嵌入提取器，基于 conformer 的连续语音分离和泄漏过滤，以及修改后的 DOVER 方法用于系统融合。使用 VoxSRC challenge 2020 提供的数据集进行系统评估。我们的最佳系统在开发集上的辨识错误率（DER）为 3.71％，在评估集上的 DER 为 6.23％，并在挑战的辨识赛道上排名第一。

    Oct, 2020