Sep, 2016

Deep Impression: 音 / 视多模态深度残差网络用于鉴别明显人格特质

PDF
TL;DR本文使用音视频深度残差网络进行多模态明显人格特质识别，并针对大五人格特征进行端到端训练。该网络无需进行特征工程或视觉分析，如面部检测、面部标定或面部表情识别。近期，在 ChaLearn 第一印象赛中获得第三名，测试准确率为 0.9109。
audiovisual deep residual networkmultimodalpersonality trait recognitionbig five traitschalearn first impressions challenge
发现论文，激发创造
  • 双模态音视频时间顺序深度学习与随机视觉特征应用于第一印象识别

    本文提出一种基于短视频中的大五人格特质进行第一印象识别的新方法，使用双模态深度神经网络结构和少量帧的音频和视觉特征进行训练，并在使用 ChaLearn LAP APA2016 数据集进行评估时表现出色。

    Oct, 2016

  • 通过跨模态嵌入增强明显人格特征分析

    用深度神经网络进行多模态的自动个性化特征评估，以提高人机交互的质量。

    May, 2024

  • 研究音频、视觉和文本融合方法，实现端到端的自动人格预测

    通过音频、文字和视频数据，采用多模态融合的方法，使用卷积神经网络预测大五人格特质分数，证明复杂交互能建立更好的模型与预测，该模型可用于提高虚拟代理的情商。

    May, 2018

  • 关于从视听信号中观察出的受试者偏见对表层人格分析的影响

    本文研究了各种影响人格认知的可能偏见源，包括面部表情情绪、吸引力、年龄、性别和种族，以及它们对表观人格估计的影响。使用多模态深度神经网络，综合音频和视觉信息，以及特定属性模型的预测来回归表观人格，并在 ChaLearn First Impressions 数据集上展示了最新的结果。此外，还提供了一种可解释性的网络设计，对每种可能的偏见源对最终网络预测的影响进行了增量分析。

    Sep, 2019

  • 基于深度神经网络的端到端多模态情感识别

    本研究提出了一种运用视觉和听觉模态的情感识别系统，其通过深度卷积神经网络提取语音特征，通过 50 层的深度残差网络提取视觉特征，并运用长短时记忆网络进行机器学习算法，通过对 AVEC 2016 情感识别研究挑战的 RECOLA 数据库的自发和自然情绪的预测，明显优于传统的以听觉和视觉手工制作特征为基础的方法。

    Apr, 2017

  • 基于深度学习的人格识别的最新趋势

    本文综述了情感计算领域中采用的用于自动预测人格特质的机器学习模型，重点是基于深度学习的方法以及多模态方法，包括了计算数据集，实际应用及最新的机器学习模型。

    Aug, 2019

  • 基于注意力神经网络融合的噪声容忍音视频人员在线验证

    用多模态方法，包括语音和图像信号，提出了一个基于神经网络的在线人员验证系统。该网络通过学习多感官关联来达到验证任务的目的，并利用了关注机制来选择具有显著性的模态，以提供补充的输入。在 VoxCeleb2 数据集上，该方法表现出比其他多模态和单模态方法更好的鲁棒性和可靠性。

    Nov, 2018

  • 学习预测显著面孔：一种新的视听显著性模型

    本文通过建立大规模的多人面部视频音频条件下的视线跟踪数据库，研究声音对多人面部视频视觉线索的影响，并提出了一种新的多模式视频显着性模型，包括三种分支：视觉，音频和面部，实验结果表明该方法胜过 11 种现有的显着性预测方法。

    Mar, 2021

  • 基于多模态深度模型的电影情感反应预测

    本研究旨在开发和分析多模态模型，预测观众观看电影片段时的情感反应。研究发现，通过提取 RGB 帧和光流的特征以及音频中的各种低级描述符，采用深度神经网络模型来进行情感预测更为精确。其中，光流特征比 RGB 视频更加信息含量丰富，且音频特征的预测精度高于视频特征。

    Sep, 2019

  • PersEmoN：一个深度网络用于表观人格、情绪以及它们之间的联合分析

    研究使用基于面部图像的深度联合学习模型（PersEmoN），同时学习高级情感特征和面貌特征，并通过采用多任务学习框架和对抗学习的方式来促进学习模型的准确性。

    Nov, 2018