Jun, 2024

大型语言模型中评估态度、观点和价值的潜力与挑战

PDF
TL;DR近年来，大型语言模型（LLMs）的最新进展引发了人们对验证和理解 LLMs 可能具有的类人认知行为特质（Attitudes，Opinions，Values）的广泛兴趣。然而，测量嵌入在 LLMs 中的 AOV 仍然模糊不清，不同的评估方法可能得出不同的结果。本文旨在通过概述最近对 LLMs 中 AOV 评估的研究工作来弥合这一差距。此外，我们还调查了这些研究工作中评估流程不同阶段的相关方法。通过这样做，我们解决了了解模型、人工智能与人类的协同以及在社会科学中的下游应用方面的潜力与挑战。最后，我们提供了对评估方法、模型改进和跨学科合作的实际见解，从而为评估 LLMs 中的 AOV 的不断发展的领域做出贡献。
发现论文，激发创造
  • ValueBench: 面向全面评估大型语言模型的价值导向和理解能力

    介绍了 ValueBench 作为第一个综合性的心理测量基准，用于评估大型语言模型的价值取向和价值理解，并通过在人工智能与人类的实际互动中进行评估管道和开放性价值空间任务的实验，揭示了六个代表性大型语言模型的共同和独特的价值取向，展示了它们在价值相关的提取和生成任务中接近专家结论的能力。

    Jun, 2024

  • 从价值到观点：利用注入价值的大型语言模型预测人类行为和立场

    利用价值注入的大型语言模型 (VIM) 预测意见和行为的可行性与效果进行了系列实验，结果显示使用价值注入的大型语言模型可更好地预测人们的意见和行为，而且通过注入人类核心价值的变种，其性能显著优于基准方法。

    Oct, 2023

  • 大型语言模型的异构价值评估

    本研究提出了 A2EHV，一种自动化对齐评估方法，旨在提高大型语言模型的价值合理性，并在异构价值系统下进行评估，结合社会心理学中的社会价值取向框架，对大型语言模型的价值合理性进行评估，观察到大型模型更倾向于与中性价值对齐。

    May, 2023

  • 评估和改进 AI 中的价值判断：一项基于场景的大型语言模型对社会约定的描述研究

    AI 产出如何产生更好的结果，社会如何将其描绘，以及在冲突价值情境中作出决策模型的研究与应用。

    Oct, 2023

  • 评估基于大语言模型的道德价值多元论

    利用一个名为识别价值共鸣（RVR）的 NLP 模型，将 WVS 调查的价值观与生成的 LLMs 文本进行比较，发现 LLMs 显示出西方中心主义的价值偏见，高估了非西方国家的保守性，对非西方国家的性别表达不准确，并将年长人口描绘为更具传统价值。

    Dec, 2023

  • 大型语言模型作为文化角度的叠加

    本文介绍了大语言模型（LLMs）是如何呈现出与不同价值观和个性特质相关的不同视角，认为 LLMs 是一系列具有不同价值观和人格特质的透视。在实验中，研究者使用心理学问卷（PVQ，VSM，IPIP）来研究模型表现的价值观和个性特质如何因不同视角而变化。通过定性和定量实验，研究者证明了 LLMs 在不同情境下表达不同的价值观和人格特质，并且探讨了多种相关的科学问题。

    Jul, 2023

  • 超越人类规范：通过跨学科方法揭示大型语言模型的独特价值

    基于心理学方法研究，该论文通过提出 ValueLex 框架，重建了大型语言模型（LLMs）的独特价值体系，并鉴定出了三个核心价值维度：能力、品格和诚信。同时，他们还开发了定制的项目测试来评估和分析 LLMs 在不同模型规模、训练方法和数据来源下的价值倾向，从而为未来的人工智能对齐和规范铺平了道路。

    Apr, 2024

  • 对大型语言模型与人类对 17 项可持续发展目标的态度调查

    对大型语言模型（LLMs）的态度与联合国可持续发展目标（SDGs）之间的差异进行综合回顾和分析，发现其在理解、情感、文化差异、任务目标、决策过程中存在的差异，以及由于训练数据不足、历史偏见、质量问题、缺乏语境理解和倾斜的伦理价值所反映的风险和危害，提出战胜这些挑战的策略和建议，以确保 LLMs 与 SDGs 原则和目标的一致性，并创造一个更公正、包容和可持续发展的未来。

    Apr, 2024

  • 政治方位图还是旋转箭头？朝着更有意义的大型语言模型价值观与观点评估

    通过对多个选择性调查和问卷调查进行评估，很多最近的工作旨在评估大型语言模型（LLMs）中的价值观和观点。然而，实际应用中的真实关注与当前评估方法的人为性质形成了鲜明的对比。本文挑战了现有基于约束的 LLMs 价值观和观点评估范式，并探索更真实的无约束评估。以政治罗盘测试（PCT）为案例研究，我们发现大多数先前使用 PCT 的工作都要求模型遵守 PCT 的多选题格式。我们展示了当模型不被强迫时，模型给出的答案会有实质性的不同；答案会根据模型的强迫方式而改变；并且答案缺乏改写的稳健性。然后，我们展示了在更真实的开放性回答环境中，模型再次给出了不同的答案。我们将这些发现总结为在 LLMs 的价值观和观点评估中的建议和开放性挑战。

    Feb, 2024

  • OpsEval：一个针对大型语言模型的综合任务导向的 AIOps 基准

    LLMs 在 NLP 任务中表现出显著能力，并且在特定领域，特别是 AIOps 领域具有潜在的应用前景。然而，目前 LLMs 在 AIOps 任务中的性能还有待确定。本文介绍了一个为 LLMs 设计的综合任务导向的 AIOps 基准测试 OpsEval，首次评估了 LLMs 在各种能力水平下的关键场景中的表现。

    Oct, 2023