大语言模型人口群体中的文化演变
本文介绍了大型语言模型(LLMs)的迭代交互,以及多代理 LLM 系统和人类文化进化之间的相似之处,并运用迭代学习(IL)贝叶斯框架解释 LLMs 的一些行为特征,并通过实验证实了该理论框架的预测,有望更有效地预测和引导 LLMs 在期望的方向上的进化。
Apr, 2024
本文介绍了一种协作设计框架,将交互进化和大型语言模型相结合,模拟典型的人类设计过程,并在三个远程人类设计师的游戏设计任务中对该框架进行了评估。
Feb, 2023
通过使用不确定性估计的方法构建实验人群,我们的研究旨在探索语言模型中的认知行为,结果发现语言模型在训练中高度代表性的类别中表现出典型性效应,但不太可能表现出结构性引导效应。总体而言,我们的结果显示单一模型往往会高估神经模型中认知行为的存在。
Aug, 2023
计算建模对于语言的产生起着重要作用,通过模拟真实环境中可能引发结构化语言产生的条件和学习过程。本文探讨了一类最近在机器学习领域引起革命的计算模型:深度学习模型。章节介绍了深度学习和强化学习方法的基本概念,并总结了它们在模拟语言产生方面的帮助。还讨论了主要发现、限制以及近期构建逼真模拟的尝试。该章针对寻求使用深度学习作为研究语言进化工具的语言学家和认知科学家。
Mar, 2024
通过对自发交流模型的文献综述,我们确定了塑造语言模型的关键压力:交流成功、效率、易学性和其他心理 / 社会语言因素,并认为这可以为语言习得和语言演化研究的语言模型设计提供启示。
Mar, 2024
这项研究通过从 GLOBE 项目获取的价值问题激发 ChatGPT(OpenAI)和 Bard(Google)来探讨了大型语言模型的文化自我认知,结果显示它们与英语国家和经济竞争力强的国家的价值观最为相似。认识到大型语言模型的文化偏见并理解它们的工作方式对社会中的所有人都非常重要,因为我们不希望人工智能的黑盒子延续偏见,使人类在无意中创造和训练更加带有偏见的算法。
Dec, 2023
社交媒体平台在全球交流中起着至关重要的作用,但在地缘政治敏感地区经常受到严格监管。本研究提出了一种基于大型语言模型的多代理模拟框架,用于探索在受监管的社交媒体环境中用户语言的演变。研究发现,大型语言模型能够模拟受限环境中的细致语言动态和交互情况,在演化过程中不断改进对监管的回避和信息准确性,并且发现不同情境下的语言模型代理采用不同的策略。
May, 2024
通过调查人类社会学的实际问卷与模型响应的对比,我们的研究发现,大型语言模型 (LLMs) 在两个维度上表现出更高的文化一致性,即当以特定文化的主要语言作为提示时,以及当使用该文化所采用的多语言精炼混合体系进行预训练时,对于模拟调查的不同人物与敏感社会议题,模型的文化一致性更加重要。最后,我们引入了人类学提示的创新方法,利用人类学推理增强文化一致性。我们的研究强调了更平衡的多语言预训练数据集对于更好地代表人类经验多样性和不同文化的复数性,对于跨语言传递的影响的必要性。
Feb, 2024
计算实验、基于代理模型、大语言模型、人形化和因果分析是本文的关键词,该研究综述了代理结构的历史发展和其与人工社会的结合,阐述了计算实验和大语言模型代理相互提供的优势,并讨论了该研究领域的挑战和未来趋势,为后续相关研究提供指导。
Feb, 2024