本文探讨利用语言模型作为特定人群的有效代理来进行社会科学研究的可能性，并提出算法保真度的概念，通过对 GPT-3 语言模型进行多层面和微粒度的统计和分析，揭示了其中的 “算法偏差” 不是均质的，而是有人口学相关性的。作者通过调节模型条件，成为可以精确模拟大量人讨论或表达的回应情况的一种工具，这为理解人类思想、态度和文化背景提供了一种全新且强大的方法。

Sep, 2022

通过 OpinionsQA 数据集，本研究提出了一种量化框架，调查语言模型中体现的观点与美国 60 个人口群体的观点的一致性，在包括堕胎和自动化在内的话题上，我们发现当前的语言模型与 US 人口集体观点之间存在相当大的不匹配，即使是明确定向于特定人口群体也是如此。

Mar, 2023

通过评估 13 种不同大小的语言模型在美国人口普查局的《美国社区调查》问题上的回答，我们发现较小的模型存在显着的位置和标记偏差，较大的模型则偏差较小。另外发现不管如何提示模型，都趋向于随机统计所有调查答案的数据，因此，这表明大型语言模型调查回答的统计数据缺乏与人类群体中的信号相关联的特征。

Jun, 2023

大型生成语言模型的关键挑战是多样性，本文通过提出度量多样性的评估数据集和指标，并应用集体批判和自我投票等方法，有效提高模型对人群和文化的多样性。

Oct, 2023

通过使用不确定性估计的方法构建实验人群，我们的研究旨在探索语言模型中的认知行为，结果发现语言模型在训练中高度代表性的类别中表现出典型性效应，但不太可能表现出结构性引导效应。总体而言，我们的结果显示单一模型往往会高估神经模型中认知行为的存在。

Aug, 2023

使用语言模型研究公众媒体消费对舆情的影响具有较高的预测能力和实际应用价值，并表明需要进一步研究神经语言模型的预测能力。

Mar, 2023

人们对语言的认知取决于个人背景，如性别和种族。本研究利用包含不同人口背景注释的 POPQUORN 数据集，对四种常见的大型语言模型进行一系列实验，以调查它们理解群体差异和对礼貌和冒犯性的预测中的潜在偏见。结果发现，模型的预测更接近来自白人和女性参与者的标签。我们进一步探索了带有目标人口统计标签的提示，证明仅仅包含目标人口统计标签会削弱模型的性能。我们的结果表明，大型语言模型在主观性自然语言处理任务上存在性别和种族偏见，并且仅仅利用人口统计学提示可能无法消除这种影响。

Nov, 2023

本文研究了利用大型语言模型（LLMs）来增强调查的三种不同应用程序：缺失数据插补，回溯预测和零 - shot 预测。该论文提出了一个新的方法论框架，其中包含民意调查问题，个人信念和时间背景的神经嵌入，以个性化 LLMs 的意见预测。该研究表明，LLMs 表现出较低的精度，但最佳模型的准确率在意识形态上明显更高，可以用于填补缺失的趋势并确定公众态度的变化。但是，模型在 zero-shot 预测任务中的表现有限，强调了 LLMs 的挑战。

May, 2023

通过定量评估 LLMs 引导出生成反应更类似于谁的观点的框架，将全球调查问答数据集 GlobalOpinionQA 翻译到不同语言后，模型生成的响应不一定成为说这些语言的人观点最相似的。

Jun, 2023

我们提出了一种从文本集合中挖掘意见的新方法，该方法是使用在不同人群收集到的数据上训练的生成式语言模型。我们描述了意见洞察挖掘的基本定义、方法论和通用算法。通过在实验中展示预先训练的生成式模型使用经过特殊设计的内容进行精调，我们展示了我们的方法的性能，其中包含不自然且完全注释的意见。我们展示了我们的方法能够学习和将意见转移到语义类别中，同时保持极性的比例。最后，我们展示了使用洞察挖掘系统来从真实文本语料库中扩大发现意见洞察的用途。

Jul, 2023