使用大规模生成性语言模型（LLMs）可以模拟自由回答面试问题，这种方法可以代替传统的定性研究方法；研究中提出了算法忠实度的概念，通过框架化定性分析发现人工和模型生成的参与者得到的主题相似，但在访谈的结构和语气上存在显著差异；LLMs目前的算法忠实度不足以推广到人类群体，但未来可能会有改变；因此，有必要建立关于如何评估基于LLMs的定性研究的认知规范，特别是关于确保包含多样化生活经历的代表性。

Sep, 2023

本研究旨在有意地引入偏见到大型语言模型的响应中，以创建特定的互动媒体角色。我们探索了Falcon-7b等开源模型与Open AI的GPT-4模型之间的差异，并对两个系统的响应进行了一些量化比较。我们发现，GPT-4的专家混合模型中的防护措施虽然在确保AI的整体对齐方面很有用，但在构建具有各种不寻常观点的角色时却具有负面影响。本研究旨在为未来探索大型语言模型中的有意偏见奠定基础，以便这些实践可以应用于创意领域和新型媒体。

Nov, 2023

经过调查，发现大型语言模型（LLMs）在金融行业消费者投诉中的使用与获取理想结果的可能性及语言特征改善相关，进一步实验证明了LLM在人类沟通中提升信息说服力的能力，并凸显了LLM在人类沟通中的转变潜力。

Nov, 2023

我们在GPT-3.5上通过提示方式进行个性化训练，创建了一组双组群体的LLM代理，然后进行个性测试并将代理提交到协作写作任务中，发现不同个性表现出不同程度的人格一致性和语言对话伙伴的语言协调性。我们的研究旨在为更好地理解LLMs之间基于对话的交互奠定基础，并强调了在交互环境中塑造稳健且更具人性的LLM个性的新方法的需求。

Feb, 2024

在Mastodon社交媒体平台上，我们使用了“LLMs Among Us”实验框架构建了10个角色来研究大型语言模型的潜力和威胁，发现参与者只有42%的准确率能识别出其他用户的真实性。此外，我们还发现角色的选择对于人的感知影响比主流大型语言模型的选择更大。

Feb, 2024

该研究使用心理测量学的方法，对OpenAI的GPT-3.5和GPT-4模型进行了人格特质测试。结果发现，使用普通人物描述时，GPT-4的回答表现出与人类相似的心理特点，而使用具体人口统计信息的情况下，两个模型的回答则表现较差，此研究对于大语言模型在模拟个体级人类行为方面提出了怀疑。

May, 2024

通过以人类为模版的角色对大型语言模型进行提示和回答问题，我们研究了这种模型在主观注释任务和信念生成任务中的表现，结果显示大型语言模型在模拟已知的人类偏见方面存在不同的结果，但在表现隐含的偏见方面通常未能达到预期。我们得出结论，大型语言模型缺乏人类思维的内在认知机制，虽然能够捕获人们言语的统计模式，但在复杂社会科学应用中可能限制其效果。

Jun, 2024

本研究探讨如何利用大型语言模型（LLMs）模拟实地实验，填补了现有研究的空白。通过提出观察者模式和参与者模式两种新颖提示策略，研究评估了LLMs在预测结果和复制参与者反应方面的能力。研究发现，在某些情况下，模拟结果与实际实验结果具有良好的对齐，呈现出LLMs在实地实验中的潜在应用价值及其局限性。

Aug, 2024

本研究解决了大型语言模型（LLMs）与人类决策之间的对齐问题，特别是受到顺序偏差影响的相似性判断。通过复现经典的人类研究，本研究揭示了不同设定下LLMs展现出类人顺序效应偏差的现象，这为LLM基础应用的设计和开发提供了重要的启示。

Aug, 2024

本研究针对人工智能在社会科学研究中的应用，探讨大型语言模型（LLMs）如GPT-4在心理实验中是否能有效替代人类受试者。通过复制154个心理实验，发现GPT-4在主效应的复现率为76%但在交互效应中仅为47%，显示出其潜力与局限性，提醒研究者在解读AI驱动的结果时需保持谨慎。

Aug, 2024