一项研究发现，大型语言模型的非故意回应存在价值偏差，倾向于偏爱高价值选项，该偏差在不同领域的语言模型中都存在，并对相关应用场景选择起到影响。

Feb, 2024

基于心理学方法研究，该论文通过提出 ValueLex 框架，重建了大型语言模型（LLMs）的独特价值体系，并鉴定出了三个核心价值维度：能力、品格和诚信。同时，他们还开发了定制的项目测试来评估和分析 LLMs 在不同模型规模、训练方法和数据来源下的价值倾向，从而为未来的人工智能对齐和规范铺平了道路。

Apr, 2024

本文研究了利用大型语言模型（LLMs）来增强调查的三种不同应用程序：缺失数据插补，回溯预测和零 - shot 预测。该论文提出了一个新的方法论框架，其中包含民意调查问题，个人信念和时间背景的神经嵌入，以个性化 LLMs 的意见预测。该研究表明，LLMs 表现出较低的精度，但最佳模型的准确率在意识形态上明显更高，可以用于填补缺失的趋势并确定公众态度的变化。但是，模型在 zero-shot 预测任务中的表现有限，强调了 LLMs 的挑战。

May, 2023

近年来，大型语言模型（LLMs）的最新进展引发了人们对验证和理解 LLMs 可能具有的类人认知行为特质（Attitudes，Opinions，Values）的广泛兴趣。然而，测量嵌入在 LLMs 中的 AOV 仍然模糊不清，不同的评估方法可能得出不同的结果。本文旨在通过概述最近对 LLMs 中 AOV 评估的研究工作来弥合这一差距。此外，我们还调查了这些研究工作中评估流程不同阶段的相关方法。通过这样做，我们解决了了解模型、人工智能与人类的协同以及在社会科学中的下游应用方面的潜力与挑战。最后，我们提供了对评估方法、模型改进和跨学科合作的实际见解，从而为评估 LLMs 中的 AOV 的不断发展的领域做出贡献。

Jun, 2024

对使用大型语言模型 (LLM) 来模拟人群的偏好进行了研究和评估，包括模拟焦点小组、虚拟调查和测试行为干预的应用，以及使用两种知名精调方法对电池电动汽车 (BEVs) 偏好调查的人群进行评估。同时，还提出并评估了一种新的损失项以改善对需要数字回答的问题的模型性能。

Mar, 2024

利用一个名为识别价值共鸣（RVR）的 NLP 模型，将 WVS 调查的价值观与生成的 LLMs 文本进行比较，发现 LLMs 显示出西方中心主义的价值偏见，高估了非西方国家的保守性，对非西方国家的性别表达不准确，并将年长人口描绘为更具传统价值。

Dec, 2023

大型语言模型似乎会在调查回答中表现出某种偏见，但有些人认为它们不够一致，无法模拟特定的价值观。为了回答这个问题，我们首先将价值一致性定义为（1）同一个问题的释义，（2）同一个主题下的相关问题，（3）单个问题的多项选择和开放性用例，以及（4）将问题翻译成英文、中文、德文和日文。我们将这些测量方法应用于几个大型（>=34b）的开源 LLM，包括 llama-3 和 gpt-4o，使用超过 300 个主题、八千个问题的数据。与之前的研究不同，我们发现模型在释义、用例、翻译和主题上相对一致。然而，仍然存在一些不一致之处。相对于微调模型，基础模型在一致性方面更加一致，并且在不同主题上保持一致，而微调模型在某些主题（如 “安乐死”）上的一致性较差，而在其他主题（如 “妇女权益”）上的一致性与人类研究对象（n=165）相似。

Jul, 2024

AI 产出如何产生更好的结果，社会如何将其描绘，以及在冲突价值情境中作出决策模型的研究与应用。

Oct, 2023

通过以人类为模版的角色对大型语言模型进行提示和回答问题，我们研究了这种模型在主观注释任务和信念生成任务中的表现，结果显示大型语言模型在模拟已知的人类偏见方面存在不同的结果，但在表现隐含的偏见方面通常未能达到预期。我们得出结论，大型语言模型缺乏人类思维的内在认知机制，虽然能够捕获人们言语的统计模式，但在复杂社会科学应用中可能限制其效果。

Jun, 2024

本文介绍了大语言模型（LLMs）是如何呈现出与不同价值观和个性特质相关的不同视角，认为 LLMs 是一系列具有不同价值观和人格特质的透视。在实验中，研究者使用心理学问卷（PVQ，VSM，IPIP）来研究模型表现的价值观和个性特质如何因不同视角而变化。通过定性和定量实验，研究者证明了 LLMs 在不同情境下表达不同的价值观和人格特质，并且探讨了多种相关的科学问题。

Jul, 2023