CVPRJun, 2022

UniCon+：ICTCAS-UCAS 在 ActivityNet Challenge 2022 的 AVA-ActiveSpeaker 任务中的提交

PDF
TL;DR本文介绍了参加 ActivityNet Challenge 2022 中 AVA 活动演讲者检测任务的获胜解决方案 UniCon+，该模型在 UniCon 和 Extended UniCon 的基础上使用了一种简单的 GRU-based module，可以通过读取和更新操作使重复身份信息横跨场景传递，最终在 AVA-ActiveSpeaker 测试集上获得了 94.47％的 mAP 最好结果，并在本年度比赛中排名第一，显著推动了最新技术的发展。
active speaker detectionunicon+gru-based modulemapchallenge leaderboard
发现论文，激发创造
  • UniCon: 统一的上下文网络用于强韧的活动说话人检测

    提出了一种新的有效框架 UniCon，用于鲁棒的活动演讲者检测，其聚焦于联合建模多种类型的情境信息，包括与候选者之间的视觉关系，以及音频和视觉的关系，并通过聚合长期信息，进一步提高检测效果。

    Aug, 2021

  • Naver 参加 ActivityNet Challenge 2019 -- 任务 B 的主动式发言人检测 (AVA)

    本研究使用 3D 卷积神经网络和一组时间卷积和 LSTM 分类器，对可见人是否在说话进行预测，从而在 AVS-ActiveSpeaker 数据集上获得了显著的改进。

    Jun, 2019

  • 端到端的活跃说话人检测

    该研究提出了一种端到端可训练的网络，结合图神经网络和弱监督策略，用于解决活动说话者检测问题，取得了最优性能。

    Mar, 2022

  • LoCoNet：长短时序上下文网络用于活跃说话人检测

    该研究提出了一种名为 LoCoNet 的模型，包含长期内讲话者历史和短期内各个讲话者之间的交互信息，使用自注意力机制和卷积块分别建模两种信息，并在多个数据集上取得了最先进的表现。

    Jan, 2023

  • 情境中的主动说话者

    该论文提出了一种新的表示方法 Active Speaker Context，用于学习音视频观察中多个发言人之间的关系，并通过多态结构获得更好的检测表现，最终在 AVA-ActiveSpeaker 数据集上获得 mAP 为 87.1% 的优秀成果。

    May, 2020

  • 一个轻量级的主动说话人检测模型

    提出了一种轻量级的主动说话人检测框架，通过减少输入候选信息、分离 2D 和 3D 卷积进行音视频特征提取、并应用门控循环单元（GRU）进行跨模态建模，可以在计算、资源消耗上比现有方法表现更优。

    Mar, 2023

  • TalkNCE：利用 Talk-Aware 对比学习改进主动说话者检测

    通过探索网络架构，以及使用自然语音与面部动作之间的对应进行学习，我们提出了一种新颖的 TalkNCE 对比损失函数，可用于主动说话者检测任务，无需额外的监督或训练数据，可以与现有的主动说话者检测模型在 AVA-ActiveSpeaker 和 ASW 数据集上联合优化，从而提高其性能。

    Sep, 2023

  • 统一的静态和动态网络：用于视频定位的高效时域滤波

    我们设计了一个统一的静态和动态网络 (UniSDNet)，用于在跨模态环境中学习视频和文本 / 音频查询之间的语义关联以实现高效的视频定位；我们的 UniSDNet 适用于自然语言视频定位（NLVG）和口语语言视频定位（SLVG）任务，并在多个数据集上取得了 SOTA 性能。

    Mar, 2024

  • UniAV：统一的音频视觉感知支持多任务视频定位

    UniAV 是一种统一的视听感知网络，可以联合学习时间动作定位（TAL）、声音事件检测（SED）和视听事件定位（AVEL）任务，并通过使用预训练的文本编码器设计统一的语言感知分类器，实现对各种类型实例的灵活检测。UniAV 通过更少的参数比单一任务模型，在 ActivityNet 1.3、DESED 和 UnAV-100 基准测试中取得与最先进的任务特定方法相当或优秀的性能。

    Apr, 2024

  • 重新思考音频 - 视觉同步以进行活动演讲者检测

    本文提出一种跨模态对比学习策略，并在注意力模块中应用位置编码来识别音频和视频之间的同步信号，解决现有 ASD 方法不能识别异步视频导致误报的问题。实验结果表明该方法成功检测到非同步说话，解决了当前模型的局限性。

    Jun, 2022