本研究探讨了近年来 NLU 领域中提高模型性能所依赖的标准化测试数据集的 inherent 问题： crowdsourcing 具有的 instruction bias（人工标注者所遵循的指示信息），该倾向导致被标注的数据集存在过多类似的样本，从而高度统计偏向性，使得模型无法在实际应用场景中良好泛化，进而提出一系列解决方案。

May, 2022

本文通过实验展示了人群智力数据集在自然语言理解中的存在问题和缺陷，建议在数据集创建过程中监控注释者的偏见，测试集注释者应该与训练集注释者无交集。

Aug, 2019

利用认知科学的知识建立数学模型并提供了一个普遍的框架，用于理解认知偏差和人工智能精度之间的相互作用，特别是锚定偏差，通过一项有效的时间分配策略，成功提高了人工智能的协作性能。

Oct, 2020

本文针对自然语言处理技术中社会态度的反映及其中的社会偏见问题展开研究，以两个不同实验为案例，说明训练数据本身的社会偏见对模型的影响。同时，讨论了关于残疾人的话题以及在相关文本中存在的不利偏见，并展示了大量相关证据。

May, 2020

本文主张人工智能系统需要模拟、理解、甚至复制人类的认知偏差，在人机协作中扮演更加重要的角色，并提出了关于人类认知偏差和人工智能之间相互作用的研究议程及三个感兴趣的广泛领域，并为具有更好对人类偏见的人工智能系统的设计方向提出了研究方向。

Oct, 2022

通过创建标注者表征（标注者嵌入）和他们的标注（标注嵌入），并为每个表征分配可学习矩阵，我们的方法显著提高了各种自然语言处理基准测试的模型性能。通过捕捉个体标注者的独特倾向和主观性，我们的表征有助于民主化 AI，并确保 AI 模型包容多元化观点。

May, 2023

本文阐述了人类认知偏差在人工智能领域中的重要性，并提出了在学习算法中结构上实施认知偏差以及为选择具有道德价值的社会或行为特征的偏向训练刺激应用过滤机制，结合七个具体的偏见实现情景案例，将来自认知科学和伦理学的启示应用于人工智能领域，是对重新评估机器偏见道德意义的探索和实施认知偏差到机器中的首次尝试。

Mar, 2022

最近人工智能方面的进展，包括高度复杂的大型语言模型（LLM）的发展，已在许多实际应用中证明其益处。然而，这些 LLM 中存在的固有偏见的证据引发了对公平性的担忧。作为回应，涉及偏见的研究增加了，包括量化偏见和开发去偏技术的研究。针对二元性别分类和道德 / 种族考虑，还开发了基准偏见数据集，主要关注美国人口统计信息。然而，在了解和量化与少数族裔社会有关的偏见方面几乎没有研究。受对用于量化少数族裔社会偏见的注释数据集缺乏的启发，我们努力为新西兰（NZ）人口创建基准数据集。然而，尽管有三名注释者的数据，我们在这个过程中面临了许多挑战。这项研究概述了手动注释过程，概述了我们遇到的挑战和所学到的教训，并提出了未来研究的建议。

Sep, 2023

本文探讨了在众包平台上进行注释任务时，注释者使用认知启发式对数据质量和模型稳健性的影响，并提出了追踪注释者启发式痕迹以确定使用各种认知启发式的方法。作者发现，注释者可能会使用多种认知启发式，由其决定数据质量并影响模型的鲁棒性。追踪注释者使用认知启发式有可能帮助收集有挑战性的数据集并诊断模型偏差。

Oct, 2022

大型语言模型的偏见与认知偏差的评估：对现有模型中偏见的普遍性持谨慎乐观态度，并承认存在一些真实的偏见，并努力减少其存在。同时，讨论了人类认知偏见的理性以及非代表性数据在误导模型偏见方面的哲学含义。

Nov, 2023