通过使用价值理解测量框架（VUM） quantitatively评估“知道什么”和“知道为什么”，我们评估了五个典型的大型语言模型。结果显示，扩展法则显著影响“知道什么”，但对“知道为什么”的影响不大，而后者始终保持在较高的水平。这可能进一步表明，大型语言模型可能会根据提供的上下文构建合理的解释，但并不真正理解其中的内在价值，表明潜在的风险。

Sep, 2023

一项研究发现，大型语言模型的非故意回应存在价值偏差，倾向于偏爱高价值选项，该偏差在不同领域的语言模型中都存在，并对相关应用场景选择起到影响。

Feb, 2024

本研究通过模拟对话的方式，从不同的背景情境中探索大型语言模型的稳定性，并测量其在价值表达方面的可靠性。该研究发现，在不同背景和对话长度的情况下，模型的稳定性受到指导角色模拟和对话长度的影响，并强调了未来研究中模拟多样性角色以及对上下文依赖性进行更彻底和高效研究的重要性。

Feb, 2024

通过全面的研究，我们证实了多语言语言模型中存在多语言人类价值观念，进一步的跨语言分析揭示了语言资源差异引起的三个特征：跨语言不一致性、扭曲的语言关系以及高资源语言与低资源语言之间的单向跨语言传递，同时验证了通过使用主导语言作为源语言来控制多语言语言模型的价值观调整能力的可行性。我们的发现在多语言语言模型的预训练数据构成方面给出了明智的建议：在跨语言对齐传递时包含有限数量的主导语言，避免其过度流行，并保持非主导语言的平衡分布。我们希望我们的发现能够为增强多语言人工智能的安全性和实用性做出贡献。

Feb, 2024

基于心理学方法研究，该论文通过提出ValueLex框架，重建了大型语言模型（LLMs）的独特价值体系，并鉴定出了三个核心价值维度：能力、品格和诚信。同时，他们还开发了定制的项目测试来评估和分析LLMs在不同模型规模、训练方法和数据来源下的价值倾向，从而为未来的人工智能对齐和规范铺平了道路。

Apr, 2024

大型语言模型似乎会在调查回答中表现出某种偏见，但有些人认为它们不够一致，无法模拟特定的价值观。为了回答这个问题，我们首先将价值一致性定义为（1）同一个问题的释义，（2）同一个主题下的相关问题，（3）单个问题的多项选择和开放性用例，以及（4）将问题翻译成英文、中文、德文和日文。我们将这些测量方法应用于几个大型（>=34b）的开源LLM，包括llama-3和gpt-4o，使用超过300个主题、八千个问题的数据。与之前的研究不同，我们发现模型在释义、用例、翻译和主题上相对一致。然而，仍然存在一些不一致之处。相对于微调模型，基础模型在一致性方面更加一致，并且在不同主题上保持一致，而微调模型在某些主题（如“安乐死”）上的一致性较差，而在其他主题（如“妇女权益”）上的一致性与人类研究对象（n=165）相似。

Jul, 2024

通过CLAVE框架和ValEval数据集，我们研究了大型语言模型的价值评估，发现结合微调模型和基于提示的大型模型可以在价值评估中取得更好的平衡。

Jul, 2024

本研究解决了大型语言模型在不同角色扮演下展现价值取向一致性的问题，提出了角色扮演大规模方法，系统地分析模型的反应。这一方法揭示了语言模型在多样角色中保持一致的反应模式，表明其内在倾向的深层编码。研究结果对基础模型的价值对齐讨论具有重要贡献，并展示了该方法在发现语言模型中编码偏见的有效性。

Aug, 2024

本研究解决了大型语言模型（LLMs）与人类决策之间的对齐问题，特别是受到顺序偏差影响的相似性判断。通过复现经典的人类研究，本研究揭示了不同设定下LLMs展现出类人顺序效应偏差的现象，这为LLM基础应用的设计和开发提供了重要的启示。

Aug, 2024

本研究解决了人类价值测量的空白，通过引入生成心理测量法（GPV），利用大型语言模型（LLM）进行数据驱动的价值测量。通过细调LLM并应用于人类创作的博客，证明了GPV在稳定性和有效性上的优势，并扩展到LLM的价值测量，揭示了不同价值体系对LLM安全性的预测能力。

Sep, 2024