该研究使用心理测量学的方法，对 OpenAI 的 GPT-3.5 和 GPT-4 模型进行了人格特质测试。结果发现，使用普通人物描述时，GPT-4 的回答表现出与人类相似的心理特点，而使用具体人口统计信息的情况下，两个模型的回答则表现较差，此研究对于大语言模型在模拟个体级人类行为方面提出了怀疑。

May, 2024

通过建立个性化故事评估模型 PERSE，该研究拟解决大语言模型在开放式文本生成方面评估表现困难的问题，并通过两个新数据集 Per-MPST 和 Per-DOC 进行实验，研究结果表明该模型在故事评分和优先级预测方面均优于 GPT-4。

Oct, 2023

提出一种新的，用于量化两篇长篇文章之间的话语分歧的自动度量标准，该指标在代表性领域的三个数据集上进行了广泛的实验，证明与人类的偏好和 GPT-4 的连贯性评估更加一致，并且胜过了现有的评估方法。

Feb, 2024

使用大型语言模型结合经典的心理物理学方法，从文本中提炼出心理物理信息，然后应用多维尺度方法发现其潜在的心理空间。在六个知觉域上测试我们的方法，成功地拟合了文献中已知的心理物理结构。这项工作展示了如何将最先进的机器模型与经典的认知范式相结合，从而阐明感知和语言研究中的基本问题。

Feb, 2023

本论文提出了一个研究大语言模型的心理学的框架，并通过心理测试验证，发现大语言模型表现出广泛的心理属性，并揭示了自我报告特征与现实场景中行为之间的差异。这些研究结果对于可靠的评估和人工智能以及社会科学的潜在应用具有重要的见解。

Jun, 2024

深度是一个编码器 - 解码器模型，通过在预训练过程中引入面向语篇的目标来提高语言模型在语篇层面上的理解能力。通过结合层次化的句子表示和两个目标：句子重排和跨度破坏，深度能够更快地学习语义和语篇级别的表示，从而拓展了 T5 在语篇能力方面的表现。

May, 2024

近期，大型语言模型（LLMs），如 GPT-4，在自然语言处理方面取得了显著进展并接近人工通用智能。然而，本研究对 GPT-4 和其他 LLMs 进行评估，评估了它们在判断平凡、动机和伪深的陈述的能力。我们发现，无论是什么类型的陈述和提示技术，LLMs 与人类之间存在显著的陈述一致性。然而，LLMs 系统地高估了无意义陈述的深度，除了 Tk-instruct 外，它是唯一低估陈述深度的模型。只有少量训练样本的提示将 LLMs 的评分接近人类，而非思维链式的提示将 LLMs 的评分远离人类。此外，本研究揭示了强化学习来自人类反馈所引发的潜在偏见，即高估陈述的深度。

Oct, 2023

本研究通过心理测试和幸福感测试，从心理角度系统评估了多种大型语言模型，同时探究了更多训练数据 fine-tuning 对心理健康的影响，并通过 BFI 调整改善了 FLAN-T5 模型的心理表现。研究呼吁社区在全面评估和改善大型语言模型安全性方面进行更多努力。

Dec, 2022

该研究提出了一个评估 LLMs 不同心理方面的框架 PsychoBench，其中包括了四个明确分类的部分：人格特征、人际关系、动机测试和情绪能力。研究使用了五个常用模型进行测试，并采用了越狱方法绕过安全对齐协议，测试了 LLMs 的内在特性。

Oct, 2023

通过与人一样的提示，使用 GPT-3.5 生成的故事与人类创作的故事在情感和描述特征上存在显著差异，并在故事叙事视角和主角性别方面表现出类似的偏差。

Jun, 2024