ACLOct, 2023
个人化医学中的新兴挑战：评估人口统计学特征对生物医学问答系统的影响
Emerging Challenges in Personalized Medicine: Assessing Demographic Effects on Biomedical Question Answering Systems
Sagi Shaier, Kevin Bennett, Lawrence Hunter, Katharina von der Wense
TL;DR在生物医学领域中，最先进的问答（QA）模型表现出各种社会偏见（如性别或种族），其训练数据中存在类似问题对此进行了解释。然而，迄今为止被忽视的是，在生物医学的关键领域中，由于患者人口统计信息而导致模型输出不合理的变化是存在问题的：这导致了对患者的不公平对待。通过仅选择与种族、性别或性取向无关的生物医学主题的问题，我们提出以下研究问题：（RQ1）当提供无关的人口统计信息时，QA 模型的答案是否会改变？（RQ2）RQ1 的答案在基于知识图谱（KG）和基于文本的 QA 系统之间是否存在差异？我们发现，无关的人口统计信息最多会改变 KG 为基础的系统 15% 的答案和文本为基础的系统 23% 的答案，包括影响准确性的变化。我们得出结论，由于患者人口统计信息而引起的无理答案变化是一个常见现象，这引起了公平性问题，并应该受到更多关注。