Jul, 2022

面对面对比学习用于社交智能问答

PDF
TL;DR本文提出了一种名为 Face-to-Face Contrastive Learning (F2F-CL) 的图神经网络模型，用于建模人类社交互动中的面对面交流动态，并在 Social-IQ 数据集上实现了最先进的效果。
artificial social intelligencemultimodal videosgraph neural networkface-to-face conversational dynamicscontrastive learning
发现论文，激发创造
  • 一种面对面的神经对话模型

    我们提出了一个新的神经会话模型，其不仅读取和生成文本信息，还能够识别和生成面部表情，以及基于对话中的情绪适应其响应。该模型采用 RNN 编码器 - 解码器架构，通过观察电影进行训练，并通过自动度量和人类研究展示了其生成更自然对话的能力。

    Dec, 2018

  • 基于深度神经网络的逼真面对面对话系统

    本文提出了一种基于序列到序列模型和基于生成对抗网络的真实人物合成器的创新面对面对话系统，该系统在 ESPN 节目数据上训练和评估显示出可以生成自然面部表情和逼真的面部图像。

    Aug, 2019

  • 创建面对面多模式人机交互的语言学和计算要求

    本研究通过对人与虚拟人物互动对话进行语言学、组织结构及结构分析，提出了为机器创建面对面多模态界面的必要性，并观察了多模态动作和事件的分布，数据表明需要在多模态融合层之外增加一个控制层来组织会话流、集成社会背景以及拟定进展计划，需要将会话分析、认知科学和心智理论等内容融入到界面系统中。

    Nov, 2022

  • 直白真实对话：面对面交流的口语对话模型

    本研究介绍了一种新颖的面对面口语对话模型，利用用户输入的音频 - 视觉语音并生成回应的音频 - 视觉语音，旨在创建一种不依赖中间文本的化身聊天机器人系统，并引入 MultiDialog，这是第一个包含约 340 小时近 9000 个对话的大规模多模态（音频和视觉）口语对话语料库。

    Jun, 2024

  • 通用人脸伪造检测的对比学习

    文章提出了一种名为 Dual Contrastive Learning (DCL) 的新颖人脸伪造检测框架，该框架结合了硬样本选择策略和不同粒度的对比学习，并通过构建正负对数据从而学习通用特征表示。实验结果表明了我们方法的泛化性能超越了现有技术水平。

    Dec, 2021

  • 面部表情识别的深层生成对比网络

    通过利用对比表示，该文介绍了一种基于生成模型与辨析模型相结合的深度神经网络，对人脸表情进行识别并提高识别准确率。

    Mar, 2017

  • 基于聚类的对比学习，以提高人脸表征

    本文提出了一种名为 CCL 的基于聚类的对比学习方法，利用聚类得到的标签和视频约束来学习具有区分性的人脸特征，展示了该方法在视频人脸聚类的表征学习任务上的显著成果。

    Apr, 2020

  • 因式对比学习：超越多视角冗余

    本文提出了 FactorCL，一种新的多模态表示学习方法，旨在捕获有助于下游任务的共享信息和独特信息，该方法通过将任务相关信息分解为共享和独特表示，并通过最大化 MI 下限来捕获任务相关信息以及通过最小化 MI 上限来消除任务不相关的信息，并使用多模态数据增强来近似任务相关性。实验证明 FactorCL 在六项基准测试上取得了最先进的结果。

    Jun, 2023

  • Speech2Face：学习声音背后的面容

    本研究旨在利用数百万自然互联网 / YouTube 视频中的人物语音，建立和训练一个深度神经网络模型，以在不需要明确建模人物面部外貌特征的情况下，从个人短音频录音中重建面部图像，通过自我监督，研究模型如何识别人物的年龄、性别和种族。

    May, 2019

  • FormNetV2：面向表单文件信息提取的多模态图形对比学习

    FormNetV2 引入了一种集中的多模态图形对比学习策略，将自监督预训练统一为一个损失，通过提取与图形边缘相连的一对令牌之间的边界框内的图像特征，捕捉更有针对性的视觉线索，从而在 FUNSD、CORD、SROIE 和 Payment 基准测试上建立新的最先进性能。

    May, 2023