在生物医学领域中，最先进的问答（QA）模型表现出各种社会偏见（如性别或种族），其训练数据中存在类似问题对此进行了解释。然而，迄今为止被忽视的是，在生物医学的关键领域中，由于患者人口统计信息而导致模型输出不合理的变化是存在问题的：这导致了对患者的不公平对待。通过仅选择与种族、性别或性取向无关的生物医学主题的问题，我们提出以下研究问题：（RQ1）当提供无关的人口统计信息时，QA 模型的答案是否会改变？（RQ2）RQ1 的答案在基于知识图谱（KG）和基于文本的 QA 系统之间是否存在差异？我们发现，无关的人口统计信息最多会改变 KG 为基础的系统 15% 的答案和文本为基础的系统 23% 的答案，包括影响准确性的变化。我们得出结论，由于患者人口统计信息而引起的无理答案变化是一个常见现象，这引起了公平性问题，并应该受到更多关注。

Oct, 2023

通过研究证明，几种重要的定型偏见：性别、国籍、种族和宗教，都对语言嵌入和问题回答模型产生影响。对基于 transformer 的 QA 模型进行研究，发现这些模型中都存在定型偏见，并且模型越大，偏见越明显。此外，分类器的 fine-tuning 会对这种偏见产生不同的影响。

Oct, 2020

本文调查了在深度学习时代发布的有影响力的问答数据集，并介绍了文本问答和视觉问答两个最常见的问答任务，涵盖了最具代表性的数据集，并提出了当前的一些 QA 研究挑战。

Jun, 2022

验证与归因对于领域特定的语言模型在高风险领域中提供准确信息至关重要，本研究通过领域专家的参与，对领域特定的语言模型生成的回答进行事实性和归因方面的评估研究，并构建了包含 32 个领域，2177 个问题以及验证答案和归因的高质量长型问答数据集 ExpertQA。

Sep, 2023

本研究探讨如何通过自动翻译和排列组合技术将已有的数据资源应用到多语种的问答系统中，并进行深入分析和提出未来数据集开发的建议，以提高多语种问答系统的覆盖面。

May, 2021

本研究针对基于检索的开放领域问答系统，探究多语言环境下文献信息不一致的问题，分析多语言开放领域问答模型的检索偏差，探讨文化差异和信息不一致性对模型的影响。

May, 2022

该研究旨在通过提出一种基准数据集 —— 即 Bias Benchmark for QA（BBQ）来测试 NLP 模型的社会偏见。研究发现当上下文信息不充分时，模型通常依赖于固有的刻板印象，导致输出结果中仍存在有害偏见。同时，即便给出充分信息，模型依然受固有偏见的影响，在正确答案与社会偏见相冲突时的准确率差异可高达 5 个百分点。

Oct, 2021

本研究发现在训练集中，答案位置分布呈高度偏斜时，使用位置预测作为答案的提取型问答模型容易学习到虚假的位置线索，并且在不同位置上无法提供正确的答案。因此，对于 BiDAF 和 BERT 等受到位置偏见影响的模型，我们实现了多种消除位置偏见的方法，发现使用答案先验分布作为偏见模型非常有效，在受到偏见的 SQuAD 数据集上，BERT 性能从 37.48% 提高到 81.64%。

Apr, 2020

这项工作通过提出一种新的任务，即自动化的质量分析和数据清洁来收集高质量的社交媒体问答数据集，并使用基于 BERT 的模型进行了评估。我们的最佳方法包括一个单任务模型和一个多任务模型，可以确定问题和响应的合理性，并提取回答。

Nov, 2020

本文通过定量和定性分析现有端到端神经模型在斯坦福问答数据集上的结果，旨在理解和比较其特性，以迈向实现在多个领域中的泛化能力。研究发现，预测错误反映了某些模型特定偏差，本文对此进行了进一步讨论。

Jun, 2018