将大型语言模型转化为认知模型
通过大规模语言模型(LLMs)来预测神经科学实验结果,发现 LLMs 在预测实验结果方面超过了专家,并且经过优化的神经科学文献模型 BrainGPT 表现更好,这预示着人类与 LLMs 共同合作进行科学发现的未来。
Mar, 2024
大型语言模型(LLM)在文本理解和逻辑推理方面表现出了非凡的能力,在多个认知任务中实现或甚至超过了人类水平的表现。本文提出了一种新的方法,通过将 LLM 表示与人类认知信号进行桥接,评估 LLM 在模拟认知语言处理方面的有效性。我们采用了表示相似性分析(RSA)来衡量 16 个主流 LLM 与脑部 fMRI 信号之间的对齐程度。实证研究调查了多种因素(如模型扩展、对齐训练、指令附加)对 LLM - 脑信号对齐的影响。实验结果表明,模型扩展与 LLM - 脑信号相似性呈正相关,对齐训练可以显著提高 LLM - 脑信号相似性。此外,广泛的 LLM 评估(如 MMLU,Chatbot Arena)的性能与 LLM - 脑信号相似性高度相关。
Feb, 2024
人类语言在思维和学习结构方面发挥重要作用。本文提出了一个挑战测评与深度学习语言模型相比人类表现的基准,并通过提供结构化符号推理模块来拓展深度学习语言模型,以使其更符合人类推理。实验表明,在语言表达能力、泛化能力等方面,人类远远优于 LLMs,这说明混合 AI 模型具有更接近人类推理的潜力。
May, 2022
大型语言模型在知识提取、推理和对话方面显示出与人类相似的表现,但是它们的表现究竟是通过记忆和模式匹配来解释的,还是反映了人类般的推理语义和世界知识,存在争议。本文展示了大型语言模型学习以类似于知识库的方式组织概念,这些知识库提供了推理语义和世界知识的大规模高质量表征。大型语言模型似乎从原始文本中引出这种知识,而更大更好的模型表现出更符合人类的概念组织,涵盖了四个系列的语言模型和三个知识图谱嵌入。
Aug, 2023
使用大型语言模型进行科学综合、推理和解释,通过从科学文献综合知识,将其应用于预测分子属性等任务,提高了当前机器学习系统的性能,并能解释其预测结果,将加速科学发现的进程。
Oct, 2023
通过将大型语言模型中的噪声知识与认知模型相结合,我们提出的框架在厨房任务中的具体体验中表明相较于仅基于大型语言模型的代理,我们的方法能够更高效地运作。实验结果表明大型语言模型对认知架构来说是一个信息丰富的来源,并且认知架构能够验证和更新大型语言模型对特定领域的知识。
Feb, 2024