Jul, 2023

多模态情感分析的一般去偏方法

PDF
TL;DR通过减少模型对虚假相关性的依赖，我们提出了一个基于逆概率加权的通用去偏方法，以提升多模态情感分析模型的超出分布泛化能力。通过解耦每种模态的鲁棒特征和偏倚特征，并利用偏倚特征估计偏倚，我们使用逆概率加权来减少对大偏倚样本的影响，从而促进情感预测的鲁棒特征学习。实证结果证明了我们提出的框架具有优越的泛化能力。
multimodal sentiment analysisspurious correlationsdebiasingout-of-distribution generalizationinverse probability weighting
发现论文，激发创造
  • 通过偏见净化实现多模态情感分析解偏

    通过使用因果关系而非传统的似然方法，基于多模态情感分析（MSA）的多模式对比事实推断情感（MCIS）分析框架能够从具有有害偏见的观察中做出无偏决策，并有效地减轻数据集偏差的问题。

    Mar, 2024

  • 用对比学习消除多模态讽刺检测中的偏见

    通过引入反事实数据增强和对抗学习的方式，本研究提出了一种新颖的去偏置多模态讽刺检测框架，旨在提高模型的鲁棒性和抑制有偏词语的不良影响，大量实验证明了该框架的卓越性能。

    Dec, 2023

  • 基于反事实推理的跨领域多模态情感分析

    本文提出了一种基于因果推断的针对 out-of-distribution (OOD) 多模态情感分析的方法，通过引入反事实框架以及考虑多模态语义，分别考虑文本的直接和间接效应，对多模态情感进行可靠的预测并展示了该方法在泛化能力方面的优越性。

    Jul, 2022

  • 关于模态偏差的识别和减少

    本文研究了在多模态分类系统中影响模型性能的模态偏差问题，通过构建两个基于 Out-of-Distribution 协议的数据集和提出一种自适应的 plug-and-play 损失函数方法，在彩色数字识别、视频动作识别和视觉问答三个任务上实现了明显的性能改进，证明了该方法在减少模态偏差问题方面的优越性。

    Feb, 2022

  • 通过因果信息最小化校正多模型偏差

    研究论文通过利用因果论的方法，学习混淆因素的表示，并利用这些表示来消除模型中的偏见。研究发现，所学习的混淆因素表示确实捕捉到数据集中的偏见，并且所提出的消除偏见的方法在多个多模态数据集上提高了模型的离分布性能，而不损害在分布性能。

    Nov, 2023

  • 生成数据以缓解自然语言推理数据集中的伪相关性

    本篇研究提出了一种生成去偏差数据集的方法，通过过滤掉对任务并无帮助的数据以提高自然语言处理模型的泛化能力，并在实验中证实了该方法可以显著提高模型在不同任务分布下的性能表现。

    Mar, 2022

  • 词嵌入联合多类别去偏置

    本文提出了一种联合多类去偏差方法 SoftWEAT，它可以在减少多个偏差方面取得良好的结果，并通过在三个不同的公开数据集上进行实验，在三个偏差分类（宗教、性别和种族）中去偏差 Word Embeddings，显示出其可行性，同时维持着词嵌入中向量的有意义关系，从而加强了更具代表性的文本数据的基础。

    Mar, 2020

  • MM-SpuBench: 对多模态 LLMs 中偶发偏见的更好理解

    在深度学习模型中，单一模态数据的训练容易导致假的偏见，而多模态大型语言模型（MLLMs）在综合视觉和语言模型方面展示了强大的能力。本文分析了 MLLMs 中的假偏见，揭示了当视觉模型中的偏见影响 MLLMs 中视觉和文本符号之间的对齐时，特定的测试数据模式会表现出这一问题，并通过引入 MM-SpuBench、一个全面的视觉问答（VQA）评估基准，从五个开源图像数据集中评估了现有最先进的 MLLMs。我们的研究结果显示了这些模型对于假关联的依赖性的持久存在，并强调了减轻假的偏见的新方法的迫切性。为了支持 MLLMs 的稳健性研究，我们在该网址发布了我们的 VQA 基准。

    Jun, 2024

  • 面向强健的视觉问答：通过对比学习充分利用偏倚样本

    提出了一个名为 MMBS 的对比学习方法，通过去除与偏见相关的信息构建正样本进行训练，从而构建更加鲁棒的视觉问答模型并增加其对理性推理的贡献，同时在 VQA-CP v2 OOD 数据集上取得了竞争性的表现以及在 VQA v2 ID 数据集上保持了鲁棒的性能。

    Oct, 2022

  • 通过解缠分特征增强学习无偏表示

    本研究提出了一种基于特征级数据增广技术的去偏方法，通过使培训数据多样化，可以更有效地消除图像分类模型中偏见的影响。

    Jul, 2021