Dec, 2023

用对比学习消除多模态讽刺检测中的偏见

PDF
TL;DR通过引入反事实数据增强和对抗学习的方式，本研究提出了一种新颖的去偏置多模态讽刺检测框架，旨在提高模型的鲁棒性和抑制有偏词语的不良影响，大量实验证明了该框架的卓越性能。
multimodal sarcasm detectionout-of-distributiongeneralization capabilitydebiasingcontrastive learning
发现论文，激发创造
  • 基于反事实推理的跨领域多模态情感分析

    本文提出了一种基于因果推断的针对 out-of-distribution (OOD) 多模态情感分析的方法，通过引入反事实框架以及考虑多模态语义，分别考虑文本的直接和间接效应，对多模态情感进行可靠的预测并展示了该方法在泛化能力方面的优越性。

    Jul, 2022

  • 通用多模态 OOD 检测框架

    这篇论文提出了一种名为 WOOD 的通用弱监督 OOD 检测框架，同时检测多种不同的 OOD 场景，并结合二元分类器和对比学习组件以取得双方的优势，实验证明该模型在多模态 OOD 检测方面超过了现有方法。

    Jul, 2023

  • MMSD2.0: 面向可靠多模态讽刺检测系统

    介绍了 MMSD2.0 数据集用于多模态讽刺检测问题，引入了利用多视角（文本、图像、文本图像交互视角）的多粒度线索的新框架 multi-view CLIP，实验证明 MMSD2.0 是构建可靠的多模态讽刺检测系统的有价值的基准，可以显著优于以前的最佳基准线。

    Jul, 2023

  • 多模态情感分析的一般去偏方法

    通过减少模型对虚假相关性的依赖，我们提出了一个基于逆概率加权的通用去偏方法，以提升多模态情感分析模型的超出分布泛化能力。通过解耦每种模态的鲁棒特征和偏倚特征，并利用偏倚特征估计偏倚，我们使用逆概率加权来减少对大偏倚样本的影响，从而促进情感预测的鲁棒特征学习。实证结果证明了我们提出的框架具有优越的泛化能力。

    Jul, 2023

  • OOD 感知的有监督对比学习

    使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征，并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失，第一个项将辅助 OOD 表征与 ID 表征分开，而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型，并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时，我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效，作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较，并展示了最先进的结果。

    Oct, 2023

  • 有监督对比学习建模鉴别性表示进行领域外检测

    本文提出了一种监督对比学习方法和对抗性增强机制，在语义空间中学习以区分任务型对话系统中的域外意图，并实证了该方法对于 OOD 检测的效果。

    May, 2021

  • 多模态讽刺检测（一篇_显然_完美的论文）

    本文提出了一个基于多模态线索的新的讽刺数据集 (MUStARD)，并且证明了将多模态信息应用于讽刺检测可以将相对误差率降低高达 12.9%。

    Jun, 2019

  • 关于模态偏差的识别和减少

    本文研究了在多模态分类系统中影响模型性能的模态偏差问题，通过构建两个基于 Out-of-Distribution 协议的数据集和提出一种自适应的 plug-and-play 损失函数方法，在彩色数字识别、视频动作识别和视觉问答三个任务上实现了明显的性能改进，证明了该方法在减少模态偏差问题方面的优越性。

    Feb, 2022

  • 改进的外部分布检测对比训练

    本文介绍了一种利用对比性训练来提高机器学习系统检测异常数据输入的方法，通过引入和使用混淆对数概率得分来量化数据集的内离散度，作者证明了这种方法在 “近 OOD” 类的性能较先前方法有所提高。

    Jul, 2020

  • 探索用于多模态离域检测的大型语言模型

    应用世界知识通过选择性生成大型语言模型并利用一致性基准不确定性校正方法来提高过分布检测性能，通过从每个图像提取视觉对象充分利用前述世界知识，充分实验证明本方法始终优于现有技术。

    Oct, 2023