Oct, 2019

隐私增强的多模态神经表征用于情感识别

PDF
TL;DR本研究回顾了移动应用程序和虚拟对话代理器识别和适应情绪的方法，讨论了隐私问题。我们研究了基于主要任务（情感识别）进行训练的多模态表征如何意外地泄露一些敏感信息，分析了情感识别中的隐私度量，并在多个数据集上进行了验证。我们使用对抗学习范式来消除表征中的隐私信息，以及如何在不影响主要任务表现的情况下改善隐私度量。本研究是第一次分析不同模态的隐私指标差异以及如何在仍然维持情感识别表现的情况下解决多个隐私问题。
privacy concernsemotion recognitionmultimodal representationsadversarial learningdemographic information
发现论文，激发创造
  • 采用隐私合规特征进行野外多模态群体情绪识别

    本研究在 EmotiW Challenge 2023 中探索了符合隐私规范的野外群体情绪识别。提出的多模态模型通过视频和音频分支以及跨模态注意力实现，使用全局特征而避免使用个体特征，仅依靠分布在视频中的 5 个均匀帧即可达到相当高的准确率。

    Dec, 2023

  • 隐性设计选择对情绪识别模型开发和评估的影响

    情感识别是一个复杂的任务，本论文通过多角度研究数据集、标签、建模、人口统计学和成员变量编码以及评估等方面的挑战，推进了强健、实用的情感识别模型的发展。

    Sep, 2023

  • 语音情感识别的实证研究与改进

    本文提出了一种通过视角损失来改进的多模态语音情感识别模型，通过融合音频和文本信息来提高多模态任务的性能表现，在 IEMOCAP 数据集上获得了最新的最佳表现。

    Apr, 2023

  • 从移动数据中学习语言和多模态隐私保护的情绪标记

    通过对高自杀风险人群进行研究，本文从语言和移动文本的多模态表示等方面分析了手机使用行为与情绪的关联，并提出一种保护隐私的深度学习方法来提高智能手机数据的使用价值。

    Jun, 2021

  • 多模态情感识别中基于模态对无监督对比损失的方法

    本文提出了一种基于无监督特征学习且包括对比损失的多模式情感识别方法，该方法可以减少资料标注费用、提高精确度并且无需大批量样本。相关实验数据表明，本方法比许多基线方法和无监督学习方法在多模式情感识别上表现更好，甚至超越了当前某些有监督方法的表现。

    Jul, 2022

  • 多模态情感检测算法的偏差与公正

    研究发现多模态情感识别系统存在系统性偏见，其中文本在所有模态中的偏见最小且在大多数情况下表现最好，提出多模态方法对于实现偏差和公正性并提高模型性能的价值存在疑问。

    May, 2022

  • 利用标签信息进行多模态情感识别

    通过利用标签信息进行多模态情绪识别，我们提出了一种新的方法，通过标签 - 令牌和标签 - 帧交互来学习每个话语的标签增强文本 / 语音表示，并设计了一种新的标签引导的注意融合模块，以融合具有标签意识的文本和语音表示进行情绪分类，实验证明该方法优于现有基线并取得了最新的最佳性能。

    Sep, 2023

  • 语言模型如何受指导以保护个人信息？

    大规模多模式语言模型已在许多应用中证明具有变革性。然而，这些模型已被证明会记忆和泄漏预训练数据，引发用户隐私和信息安全方面的严重关切。我们介绍了 PrivQA - 一个多模式基准，用于评估在模拟场景中指示模型保护特定类别个人信息时，此隐私 / 效用权衡。我们还提出了一种通过迭代自我调节响应的技术，在很大程度上提高了隐私。通过一系列红队实验，我们发现对手可以通过简单的越狱方法绕过这些保护，使用文本和 / 或图像输入。我们相信 PrivQA 有潜力支持开发具有改进隐私保护和对抗鲁棒性的新模型。我们在指定的网址上发布了整个 PrivQA 数据集。

    Oct, 2023

  • 情感识别的多模态和多视角模型

    采用多种视图学习方法来结合语音和词汇信息，训练出不需要词汇输入的部署式语音模型，该模型采用对比损失函数进行训练，实验结果表明这种方法和传统的基于语音信息的方法相比，有更好的准确性和鲁棒性。

    Jun, 2019

  • EffMulti：高效建模复杂多模态交互以进行情感分析

    本文提出了一种多模态情感分析框架 EffMulti，采用三种不同的多模态潜在表示来捕捉不同视角下的复杂情感交互，并提出了一种模态 - 语义层次融合方法来融合这些表示，实验结果表明，EffMulti 在进行情感分析方面表现极佳。

    Dec, 2022