大型语言模型对医疗专业人员的偏见评估
研究通过 BERT 模型和 LIWC 方法对医学生的表现评估数据进行对比，结果显示医学院教授在日常评估中，男性和女性医学生的评价差异不大，但女性更容易受到与家庭和孩子相关的评价。
Jun, 2022
大型语言模型在医疗专业人员中具有潜力，但在训练过程中可能意外地继承偏见，可能会影响其在医学应用中的实用性。通过定性和定量分析，我们发现这些模型倾向于为白人群体投射更高的费用和较长的住院时间，并在具有更高生存率的具有挑战性的医疗场景中表现出乐观的态度。这些偏差在生成患者背景信息、将特定疾病与某种种族关联以及治疗建议的偏差等方面都有体现。我们的发现强调了未来研究在解决和减轻语言模型的偏见问题方面的关键需求，特别是关注关键的医疗应用，以确保公平和准确的结果对所有患者来说。
Jan, 2024
这项研究开发了BiasMedQA作为一种新的基准测试方法，评估大型语言模型在医学任务中受认知偏差影响的程度，并发现GPT-4对偏差具有较强的韧性，而Llama 2 70B-chat和PMC Llama 13B则受偏差影响较大，这凸显了在医学语言模型开发中需致力于偏差缓解，以实现在医疗保健领域更安全、可靠的应用。
Feb, 2024
通过对八种流行的大型语言模型在三个临床病例描述数据集上进行严格评估和分析，我们发现这些模型在受保护群体之间存在各种不同程度的社会偏差，而大小模型并不一定比通用模型更具偏见，经过设计决策的提示方式对社会偏差也有影响，研究呼吁对在临床决策支持应用中使用的大型语言模型进行进一步评估、审查和改进。
Apr, 2024
本研究旨在分析大规模文本数据中种族和性别词汇与疾病概念的关联，并发现了大型语言模型中存在的偏见以及种族和性别词汇的广泛差异关联，尤其是黑人种族的过度代表现象。研究结果意味着需要在健康等敏感领域中对LLMs的训练数据进行关键检查和透明报告，并提出了发展缓解偏见影响的策略的必要性。
May, 2024
社会科学研究表明，具有表明特定种族或性别的姓名的候选人在就业实践中经常面临歧视。 similarly, 大型语言模型 (LLMs) 在各种应用中展示了种族和性别偏见。在本研究中，我们利用 GPT-3.5-Turbo 和 Llama 3-70B-Instruct 来模拟对具有320个姓氏强烈表示其种族和性别的候选人的招聘决策和薪水建议，覆盖了超过750,000个提示。我们的实证结果表明，这些模型偏好招聘白人女性名字听起来的候选人，并选择其他人口群体中的40个职业。此外，即使在具有相同资格的候选人中，薪水建议在不同子群体之间也会有高达5%的差异。与现实劳动力数据的比较显示，与美国劳动力市场特征不一致，凸显了对由LLMs驱动的系统的风险调查的必要性。
Jun, 2024
本研究探讨了大语言模型在简历筛选中可能存在的偏见，针对性别和种族等受保护属性的影响进行分析。采用文档检索框架和大量真实简历与职位描述数据，研究发现简历筛选存在显著偏向白人和女性，同时针对黑人的偏见尤为严重。这些发现揭示了广泛应用的人工智能工具在招聘中的不公正性，对公平性和技术政策具有重要影响。
Jul, 2024
本研究针对大型语言模型在训练数据中固有的社会偏见，特别是性别和职业相关的偏见，进行探讨。研究提出了一种简单有效的去偏见机制，结合美国国家劳动统计局的数据，显著降低了偏见分数，展示了创建更公平可靠的语言模型的潜力。
Aug, 2024
本研究针对大型语言模型（LLMs）在性别、职业等敏感类别上固有的社会偏见问题，探讨了其与美国国家劳动统计局（NBLS）数据的关联。我们提出了一种简单有效的去偏见机制，通过直接利用NBLS实例来减轻LLMs中的偏见，并在七种不同的LLMs上进行实证研究，结果显示去偏见方法显著降低了偏见评分，促进了模型的公平性和可靠性。
Aug, 2024