利用以国籍为基础的个人形象剖析国家认知变化
总结:该论文是一份针对大型语言模型中角色扮演和个性化的综述调查,包括对角色扮演和个性化的研究分类、当前挑战和未来方向,并提供了供社区使用的论文资源。
Jun, 2024
通过以人类为模版的角色对大型语言模型进行提示和回答问题,我们研究了这种模型在主观注释任务和信念生成任务中的表现,结果显示大型语言模型在模拟已知的人类偏见方面存在不同的结果,但在表现隐含的偏见方面通常未能达到预期。我们得出结论,大型语言模型缺乏人类思维的内在认知机制,虽然能够捕获人们言语的统计模式,但在复杂社会科学应用中可能限制其效果。
Jun, 2024
研究探讨了角色扮演对大型语言模型的影响,通过为七个大型语言模型分配来自 12 个类别的 162 个不同角色扮演来回答来自五个数据集的问题,发现角色扮演会引起模型行为的多样性和泛化性。
Jul, 2024
使用大型语言模型(LLMs)和个性变量在现有主观 NLP 数据集中模拟不同视角方面,发现个性变量通过提示在 LLMs 中的应用能提供适度的改善,但在解释人类标注中的作用较低(<10%)时,个性提示的效果很小,这对当前 NLP 领域中模拟多样性的可行性产生了质疑。
Feb, 2024
研究了自然语言处理(NLP)模型中的国籍偏见及其对公众看法的影响,并发现具有偏见的 NLP 模型会复制和放大现有社会偏见,导致人工智能系统的不公平和不正义,强调了公众看法在塑造人工智能对社会的影响中的关键作用以及纠正人工智能系统中的偏见的必要性。
Aug, 2023
本文通过用自我报告问卷(BFI)评估和语言分析等方法,在大型语言模型(LLMs)中针对五个人格特质类型和性别角色实验性地生成了 320 种 LLM 角色,研究 LLM 角色生成的内容是否优点定制的特质,并对其可应用于人工智能会话的前景进行了展望。
May, 2023
存在困扰个性化驱动文本生成任务的大型语言模型(LLMs)需要生成反映符合特定人物角色可能具有的观点分布的文本。我们定义不协调的人物角色作为具有多个特征的人物角色,在人类调查数据中,其中一个特征会使其其他特征变得不太可能,例如支持增加军费的政治自由主义者。我们发现 LLMs 比一致的人物角色少 9.7%的可控性,有时会生成与其人口统计学相关的刻板立场,而不是目标立场。我们评估的使用人类反馈强化学习(RLHF)微调的模型更具可控性,尤其是与政治自由主义者和女性相关的立场,但呈现出更少多样化的人物角色观点。我们还发现无法从多选意见评估中预测的 LLM 可控性的方差。我们的研究结果显示了在开放式文本生成中评估模型的重要性,因为它可以揭示新的 LLM 观点偏见。此外,这种设置可以揭示我们将模型引导到更丰富和多样化的观点范围的能力。
May, 2024
大型语言模型经常用于日常生活,但其内部机制仍然不透明。本文将研究 LLMs 中存在的偏见,特别是与社会群体的刻板属性相关的偏见,并扩展研究范围,探究 LLMs 中的另一种偏见,即社会优势群体相对于社会从属群体更具异质性的现象。本研究使用 ChatGPT,一个最先进的 LLM,生成了关于交叉群体身份的多样化文本,并比较了文本的同质性。我们一致发现,LLMs 将非洲裔、亚洲裔和拉美裔美国人描绘为比白人更具同质性。他们还描绘女性比男性更具同质性,但这些差异很小。最后,我们发现性别的影响在种族 / 民族群体中存在差异,即在非洲裔和拉美裔美国人中性别的影响是一致的,但在亚洲裔和白人中不一致。我们对 LLMs 中这种偏见的可能来源进行了推测,并指出这种偏见有可能放大未来 LLM 训练中的偏见并强化刻板印象。
Jan, 2024