追踪偏差影响以减少问答模型的偏差

Oct, 2023

追踪偏差影响以减少问答模型的偏差

Mitigating Bias for Question Answering Models by Tracking Bias Influence

Mingyu Derek Ma, Jiun-Yu Kao, Arpit Gupta, Yu-Hsiang Lin, Wenbo Zhao...

TL;DR提出了一种名为 BMBI 的方法，用于减轻多选问题回答模型中的偏见。通过观察一个查询实例对另一个实例的影响来度量查询实例的偏见水平，并将其作为优化目标，形成一个多任务学习设置。引入了一个新的偏见评估度量方法，以全面而敏感的方式量化偏见。实验证明，该方法可应用于多个偏见类别的多个问题回答公式，在不降低问题回答准确性的情况下显著降低了 BBQ 数据集中的 9 个偏见类别的偏见水平。

Abstract

Models of various nlp tasks have been shown to exhibit stereotypes, and the bias in the question answering (QA) models is especially harmful as the output answers might be directly consumed by the end users. There have been datasets to evaluate bias in →

nlp tasks bias mitigation qa models bmbi bias evaluation metric

发现论文，激发创造

BBQ: 一个手工制作的问答偏见基准

该研究旨在通过提出一种基准数据集 —— 即 Bias Benchmark for QA（BBQ）来测试 NLP 模型的社会偏见。研究发现当上下文信息不充分时，模型通常依赖于固有的刻板印象，导致输出结果中仍存在有害偏见。同时，即便给出充分信息，模型依然受固有偏见的影响，在正确答案与社会偏见相冲突时的准确率差异可高达 5 个百分点。

Oct, 2021

通过同时建模多个偏差来提高问答的泛化性能

研究了消除数据集偏见的方法，并提出了一个能更好地在域内和域外数据集上提高性能的通用框架，可用于问答任务，并与现有的消除数据集偏见的方法进行了比较。

Oct, 2020

鲁棒视觉问答的生成偏差

采用基于生成网络、对抗性目标函数和知识蒸馏相结合的方法直接训练 VQA 模型的偏见模型，有效减轻 VQA 模型中的数据集偏差问题。

Aug, 2022

面向强健的视觉问答：通过对比学习充分利用偏倚样本

提出了一个名为 MMBS 的对比学习方法，通过去除与偏见相关的信息构建正样本进行训练，从而构建更加鲁棒的视觉问答模型并增加其对理性推理的贡献，同时在 VQA-CP v2 OOD 数据集上取得了竞争性的表现以及在 VQA v2 ID 数据集上保持了鲁棒的性能。

Oct, 2022

通过自然语言理解中的偏见专家来改进偏见缓解

通过引入偏见专家（bias experts），我们提出了一个新的去偏框架，改善了辅助模型的偏见识别能力，并且在各种挑战性数据集上始终优于现有技术水平。

Dec, 2023

偏差缓解技术中的关键问题调查

本研究提出了一个改进的评估协议、合理的指标和一个新的数据集，以评估现有的 7 种最先进的减少偏差算法的有效性。研究发现，算法利用隐藏的偏见，无法适应多种偏向，而且对调整数据集的选择非常敏感。因此呼吁社区采用更严格的评估方法。

Apr, 2021

再三思考：衡量消除问答模型预测快捷方式的效率

本文提出一种简单的方法，用于评估预训练模型在特定 spurious feature 上的依赖程度并评估各种预训练模型和去偏见方法在问答 (QA) 中对大量已知和新发现偏差的鲁棒性，发现去偏见方法的 OOD 收益不能通过减少对偏见特征的依赖来解释，我们进一步通过测量 OOD 模型的性能表明其依赖于偏见特征，这表明 QA 数据集中存在共享的偏见，同时也需要进一步的工作来提高 LLM 鲁棒性的报告水平。

May, 2023

量化和减轻多模大型语言模型中的单模偏差：因果视角

近期，大型语言模型 (LLM) 的进展促进了多模态 LLM (MLLM) 的发展。虽然 MLLM 具有令人印象深刻的能力，但往往过于依赖单模态偏见（例如，语言偏见和视觉偏见），导致在复杂的多模态任务中回答错误。为了研究这个问题，我们提出了一个因果框架来解释视觉问答 (VQA) 问题中的偏见。在我们的框架中，我们设计了一个因果图来阐明 MLLMs 在 VQA 问题上的预测，并通过深入的因果分析评估偏见的因果效应。受到因果图的启发，我们引入了一个名为 MORE 的新数据集，包含了 12,000 个 VQA 实例。该数据集旨在挑战 MLLMs 的能力，需要进行多跳推理和克服单模态偏见。此外，我们提出了两种策略来减轻单模态偏见和增强 MLLMs 的推理能力，包括针对有限访问 MLLMs 的 “分解 - 验证 - 回答” (DeVA) 框架以及通过微调改进开源 MLLMs。广泛的定量和定性实验为未来的研究提供了宝贵的见解。

Mar, 2024

超越性能：量化和减轻 LLMs 中的标签偏差

通过评估不同方法对模型预测中的标签偏倚进行量化研究，我们提出了一种专门用于少样本提示的新型标签偏倚校准方法，其在提高性能和减轻标签偏倚方面优于最近的校准方法。我们的结果强调大型语言模型中标签偏倚对其可靠性的影响。

May, 2024

偏见中和框架：用偏见智商（BiQ）衡量大型语言模型中的公平性

本文介绍了综合偏差中性化框架（CBNF），该框架创新性地对大型语言模型（LLMs）中的偏见进行量化和减轻，通过引入称为 BiQ 的新指标来检测、度量和减轻 LLMs 中的种族偏见，而无需依赖人口统计注释。此外，论文还展示了 Latimer AI 对比 ChatGPT 3.5 的详细分析，揭示了 Latimer AI 通过有针对性培训和精细的偏见缓解策略，在检测种族、文化和性别偏见方面的效果。

Apr, 2024