人工智能系统中解决公平性和偏差的重要性不可低估。本文填补了大型多模态模型在公平性和偏差研究方面相对于大型语言模型的缺口，提供了 50 个数据集和模型的示例以及影响它们的挑战；我们除了文献中已知的内在偏差和外在偏差两种方式外，还确定了一种新的偏差量化方法（preuse）；我们批判性地讨论了研究人员面对这些挑战时采取的各种方式。我们的方法使用了两个稍有不同的 Google Scholar 搜索词，结果显示出 “大型多模态模型中公平性和偏差” 的搜索词的结果为 33,400 个链接，“大型语言模型中公平性和偏差” 的搜索词的结果为 538,000 个链接。我们相信这项工作有助于填补此领域的研究空白，并向研究人员和其他相关者提供处理多模态人工智能中公平性和偏差问题的见解。

Jun, 2024

本文研究了人脸表情识别中的偏见与公平性问题，并对三种不同的方法在两个不同数据集上进行了比较，结果表明，使用数据增强的属性感知方法和解缠方法比基线方法更具准确性和公平性，在减轻人口统计学偏见方面，解缠方法是最好的选择。

Jul, 2020

本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

May, 2018

本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

Jul, 2017

本研究回顾了移动应用程序和虚拟对话代理器识别和适应情绪的方法，讨论了隐私问题。我们研究了基于主要任务（情感识别）进行训练的多模态表征如何意外地泄露一些敏感信息，分析了情感识别中的隐私度量，并在多个数据集上进行了验证。我们使用对抗学习范式来消除表征中的隐私信息，以及如何在不影响主要任务表现的情况下改善隐私度量。本研究是第一次分析不同模态的隐私指标差异以及如何在仍然维持情感识别表现的情况下解决多个隐私问题。

Oct, 2019

本文提出了一个名为 MMBias 的基准数据集，用于评估自我监督多模态模型中的偏差，并介绍了一种旨在缓解偏差的去偏置方法。

Mar, 2023

在深度学习模型使用高维输入和主观标签进行训练时，公正性依然是一个复杂且缺乏研究的领域。面部情绪识别是一个数据集往往存在种族不平衡问题的领域，可能导致模型在不同种族群体之间产生不同的结果。本研究聚焦于通过对具有多样种族分布的训练集进行子采样，以及评估这些模拟中的测试性能来分析种族偏见。我们的发现表明，较小的数据集中的伪造面孔可以在接近种族平衡的模拟中提高公正性和性能指标。值得注意的是，F1 分数平均增加了 27.2 个百分点，人口统计学平等指标平均增加了 15.7 个百分点。然而，在具有更多面部变化的较大数据集中，公正性指标通常保持不变，这表明仅仅种族平衡是无法在不同种族群体之间实现测试性能的平等的。

Aug, 2023

本文提出了基于人性化的 AI 机器学习需满足四个主要要求：效用和社会效益，隐私和数据所有权，透明度和问责制以及人工智能决策过程公平性。通过使用自然合成个人资料，该研究展示了当前基于多种信息源的模式的算法是如何受到敏感因素和内在偏见的影响，以及这将如何导致决策失公平性。同时，论文介绍了最近的技术和常用数据库，以消除深度学习结构中的偏见和敏感信息。

Feb, 2023

本文提出了一种通过视角损失来改进的多模态语音情感识别模型，通过融合音频和文本信息来提高多模态任务的性能表现，在 IEMOCAP 数据集上获得了最新的最佳表现。

Apr, 2023

本研究旨在探讨每种模态对 Multimodal Machine Learning 模型的影响，并针对不同分类任务的数据集和模型，提出了一种确定每种模态对 Multimodal Machine Learning 模型的影响的方法。研究结果对于理解多模态学习中每个模态的作用，并为该领域的未来发展提供了有价值的见解。

Jun, 2023