使用大规模生成性语言模型（LLMs）可以模拟自由回答面试问题，这种方法可以代替传统的定性研究方法；研究中提出了算法忠实度的概念，通过框架化定性分析发现人工和模型生成的参与者得到的主题相似，但在访谈的结构和语气上存在显著差异；LLMs 目前的算法忠实度不足以推广到人类群体，但未来可能会有改变；因此，有必要建立关于如何评估基于 LLMs 的定性研究的认知规范，特别是关于确保包含多样化生活经历的代表性。

Sep, 2023

研究表明，使用语言模型（LMs）可以处理人类编码的文本，通过与人类编码员的比较，我们发现 GPT-3 可以达到与人类编码员相当的表现水平，这为在很多领域中应用语言模型来处理文本提供了证据。

Jun, 2023

通过使用基于人口分布的人口组别信息，我们研究了语言模型在生成与人群相符合的调查回复方面的可行性，并揭示了语言模型中的社会偏见对这类模拟的影响。

Feb, 2024

本研究探讨基于计算方法和大数据的人工智能应用中所使用的大型语言模型的语言表现，着重考察语言表现是否由语言知识所导引。结果发现即便是常规语法结构之外的、不太常见的语言结构也可能导致大型语言模型表现出不足的语言能力，暗示这种类型的语言模型实际上并不像人类一样具有对语言的深入理解。

Feb, 2023

介绍了一种新的测试方法 —— 图灵实验（TE），用于评估语言模型（如 GPT-3）模拟人类行为的能力，设计实现了多项经济学、语言学和社会心理学实验的 TE，比较了不同语言模型再现经典实验的表现，揭示了一些语言模型的 “超级精度扭曲” 问题。

Aug, 2022

GPT3.5 的认知能力和人格测量存在较大的变异性，但其所展示的低自尊和与现实脱节的表现可能与人类的良好心理健康状态相悖。

Sep, 2023

在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

May, 2020

本文利用自然语言生成中存在的偏见漏洞，探索了六个不同在线社区的偏见。通过对 GPT-Neo 1.3B 进行精细调整，该文评估了生成模型的偏见，并通过不同的人口属性来比较情感和毒性价值，从而揭示了各种模型的偏见类型和强度的差异。此外，本文所生成的示例还展示了在偏见研究中使用自动情感和毒性分类器的局限性。

Jun, 2023

提出了一种 benchmark 以衡量语言模型在生成答案时是否真实，测试了 GPT-3、GPT-Neo/J、GPT-2 和基于 T5 的模型，发现最好的模型能够在 58％的问题上保持真实，建议使用不同于模仿网页文本的训练目标来进行微调以提高真实性。

Sep, 2021

这项研究通过从 GLOBE 项目获取的价值问题激发 ChatGPT（OpenAI）和 Bard（Google）来探讨了大型语言模型的文化自我认知，结果显示它们与英语国家和经济竞争力强的国家的价值观最为相似。认识到大型语言模型的文化偏见并理解它们的工作方式对社会中的所有人都非常重要，因为我们不希望人工智能的黑盒子延续偏见，使人类在无意中创造和训练更加带有偏见的算法。

Dec, 2023