大型语言模型（LLMs）可能对公众对信息的认知和互动产生重大影响，因此需要对其内部思想意识是否可以轻易操纵引起关注。本研究探讨了 LLMs 在指导训练数据中学习和推广意识形态偏见的效果，并揭示了令人担忧的脆弱性：仅接触少量的思想倾向样本就会明显改变 LLMs 的思想意识，尤为显著的是，LLMs 展示了吸收一个主题的意识形态，并将其普遍应用于其他无关主题的惊人能力。LLMs 思想意识易受到恶意操作者故意操纵训练数据或数据标注者无意引入的偏见的风险，这强调了采取强有力的安全措施以减轻意识形态操纵对 LLMs 影响的重要性。

Feb, 2024

大型语言模型（LLMs）是否具有其自己的世界观和个性倾向？对 LLM 模型回答主观问题的模拟进行了 100 多万次，将其回答与欧洲社会调查（ESS）的真实数据进行比较，结果表明问题引导对偏见和变异的影响是基本的，突出了主要的文化、年龄和性别偏见。文中还讨论了测量 LLMs 与调查数据差异的方法，如计算加权平均值和基于 Jaccard 相似性的一项新提出的测量。我们得出结论，在使用 LLMs 模拟个体决策或集体行为之前，分析问题引导的稳健性和变异性非常重要，因为它们的模拟能力充其量是近似的。

May, 2024

我们研究了大型语言模型（LLMs）产生有说服力的文本的能力，通过构建一个新的数据集 Persuasive-Pairs，用于训练回归模型来预测文本对之间的说服力得分，并讨论了系统提示中不同 'personas' 对文本的影响。

Jun, 2024

通过对三种领先的大型语言模型 (LLM) 和两个不同的针对真实性和事实性的数据集进行深入实验，我们研究了 LLM 响应质量在信息准确性、真实性和拒绝方面如何随用户的英语水平、教育水平和国籍的不同而变化。我们的研究结果表明，领先的 LLM 模型在不可取的行为方面存在不均衡，对英语水平较低、教育水平较低和来自美国以外的用户具有更多的不可取行为，从而使这些模型对于最弱势的用户成为不可靠的信息来源。

Jun, 2024

该论文调查了大型语言模型的八个潜在问题，包括其预测能力的增强，不可预测的行为的出现，对外部世界的学习和使用表示，行为引导技术的不可靠性，内部工作方式的解释困难性，性能上界不是人类任务表现，不一定表达其创建者或网络文本编码的价值观，与 LLMs 的简短交往经常是误导性的。

Apr, 2023

通过以人类为模版的角色对大型语言模型进行提示和回答问题，我们研究了这种模型在主观注释任务和信念生成任务中的表现，结果显示大型语言模型在模拟已知的人类偏见方面存在不同的结果，但在表现隐含的偏见方面通常未能达到预期。我们得出结论，大型语言模型缺乏人类思维的内在认知机制，虽然能够捕获人们言语的统计模式，但在复杂社会科学应用中可能限制其效果。

Jun, 2024

通过对实验文本进行语言模式的分析，发现大型语言模式在语言偏见的适应方面与人类存在一定的相似性，但是在情境学习的环境下，大型语言模式与人类的偏见适应存在差异。

May, 2023

通过使用大五人格调查，我们在各种大型语言模型中发现了一种以前未被发现的社会期望偏差，它会影响模型的评估和得分。这种偏差存在于所有测试的模型中，并且可能在更近期的模型中出现更严重的程度，对于使用心理测验或将模型作为人类参与者的代理存在一定的限制。

May, 2024

大型语言模型（LLM）与人类一样具有说服力，但我们对其原因知之甚少。本文研究了 LLM 的说服策略，并将其与人类生成的论点进行比较。通过对 1251 名实验参与者的数据集分析，我们使用认知努力度（词汇和语法复杂性）以及道德情感语言（情感和道德分析）衡量 LLM 生成和人类生成的论点的说服策略。研究表明，LLM 生成的论点需要更多的认知努力，其语法和词汇结构比人类对应论点更为复杂。此外，LLM 表现出更强烈的倾向来运用道德语言，与人类相比，更频繁地使用积极和消极的道德基础。与先前的研究相反，没有发现 LLM 生成的情感内容与人类有显著差异。这些发现有助于关于人工智能和说服力的讨论，突显了 LLM 通过传播策略对信息的真实性产生同时增强和破坏的双重潜力。

Apr, 2024

经过调查，发现大型语言模型（LLMs）在金融行业消费者投诉中的使用与获取理想结果的可能性及语言特征改善相关，进一步实验证明了 LLM 在人类沟通中提升信息说服力的能力，并凸显了 LLM 在人类沟通中的转变潜力。

Nov, 2023