Sep, 2023
TalkNCE:利用 Talk-Aware 对比学习改进主动说话者检测
TalkNCE: Improving Active Speaker Detection with Talk-Aware Contrastive Learning
Chaeyoung Jung, Suyeon Lee, Kihyun Nam, Kyeongha Rho, You Jin Kim...
TL;DR通过探索网络架构,以及使用自然语音与面部动作之间的对应进行学习,我们提出了一种新颖的 TalkNCE 对比损失函数,可用于主动说话者检测任务,无需额外的监督或训练数据,可以与现有的主动说话者检测模型在 AVA-ActiveSpeaker 和 ASW 数据集上联合优化,从而提高其性能。