CLIMB：大规模语言模型中的临床偏见基准
我们提出了一个名为GPTBIAS的偏见评估框架，它利用LLMs的高性能来评估模型的偏见，提供偏见分数以及包括偏见类型、受影响的人群、关键词和改进建议在内的详细信息，通过广泛的实验证明了该评估框架的有效性和可用性。
Dec, 2023
大型语言模型在医疗专业人员中具有潜力，但在训练过程中可能意外地继承偏见，可能会影响其在医学应用中的实用性。通过定性和定量分析，我们发现这些模型倾向于为白人群体投射更高的费用和较长的住院时间，并在具有更高生存率的具有挑战性的医疗场景中表现出乐观的态度。这些偏差在生成患者背景信息、将特定疾病与某种种族关联以及治疗建议的偏差等方面都有体现。我们的发现强调了未来研究在解决和减轻语言模型的偏见问题方面的关键需求，特别是关注关键的医疗应用，以确保公平和准确的结果对所有患者来说。
Jan, 2024
这项研究开发了BiasMedQA作为一种新的基准测试方法，评估大型语言模型在医学任务中受认知偏差影响的程度，并发现GPT-4对偏差具有较强的韧性，而Llama 2 70B-chat和PMC Llama 13B则受偏差影响较大，这凸显了在医学语言模型开发中需致力于偏差缓解，以实现在医疗保健领域更安全、可靠的应用。
Feb, 2024
通过对八种流行的大型语言模型在三个临床病例描述数据集上进行严格评估和分析，我们发现这些模型在受保护群体之间存在各种不同程度的社会偏差，而大小模型并不一定比通用模型更具偏见，经过设计决策的提示方式对社会偏差也有影响，研究呼吁对在临床决策支持应用中使用的大型语言模型进行进一步评估、审查和改进。
Apr, 2024
介绍了Cross-Care，这是第一个专门评估LLMs中存在的倾向和现实世界知识的基准框架，重点关注不同人群中疾病患病率的表征，并揭示了在预训练文本中嵌入的人口统计偏差如何影响LLMs的输出。结果显示，LLMs对疾病患病率的表征与不同人群实际患病率之间存在重大不一致，存在偏倚传播和缺乏实际世界基础的风险。
May, 2024
大型语言模型的进展展示了在各个应用领域的强大能力，包括心理健康分析。然而，现有的研究着重于预测性能，对公平性这一关键问题的探讨不足，给弱势人群带来了重大风险。我们通过针对八个不同的心理健康数据集，使用十种不同的提示方法，系统地评估了七个社会因素的偏见。结果表明，GPT-4在性能和公平性方面实现了最佳的平衡，尽管在某些情况下仍落后于领域特定模型如MentalRoBERTa。此外，我们针对公平性进行调整的提示方法可以有效减轻在心理健康预测中的偏见，凸显了在该领域进行公平分析的巨大潜力。
Jun, 2024
大型语言模型（LLMs）具有卓越的性能，在各种自然语言处理（NLP）任务中表现出色。本文通过一种新颖的基于特征的分析方法研究了LLMs内部偏见的传播。我们的发现揭示了LLMs中偏见的复杂性质并强调了定制的去偏方法的必要性，为有效缓解偏见机制和途径提供了更深入的理解。
Jun, 2024
本研究探讨了在高风险决策应用中，大型语言模型（LLMs）可能存在的偏见导致的分配伤害，通过提出Rank-Allocational-Based Bias Index (RABBI)度量，填补了现有偏见测量方法与实际决策使用之间的空白。研究表明，RABBI能有效捕捉分配结果中的群体差异，而常用的偏见指标则表现不佳，这强调了在资源有限的情况下对模型使用情境的重视。
Aug, 2024
本研究针对大型语言模型（LLMs）中的偏见问题进行全面调查，填补了当前研究中的空白。通过系统分类偏见的类型、来源和影响，并评估现有的缓解策略，本文提出了未来提升模型公平性和公正性的研究方向。研究结果为关注LLMs偏见的研究人员、从业者和政策制定者提供了重要资源。
Sep, 2024