任何可想象机制的限制之外:大语言模型与心理语言学
本文讨论大型语言模型是否存在人类概念或含义,并指出语言模型可能捕捉了重要的含义方面,这符合人类认知的合理解释。由于概念角色由内部表示状态之间的关系定义,因此含义不能从模型的体系结构,训练数据或目标函数中确定,而只能通过研究其内部状态之间的关系来确定。
Aug, 2022
今天的大型语言模型(LLMs)可以生成连贯的,符合语法的、有意义的文本段落,但在如人类思维一样的实际语言使用中,大多数测试需要功能语言能力,从认知神经科学的证据中,我们显示出LLMs显示出令人印象深刻(虽然不完美)的正式语言能力的任务,但在需要功能能力的许多测试中失败了。
Jan, 2023
本研究旨在探讨大型语言模型是否能够成为认知模型,并发现通过在心理实验数据上微调这些模型,它们能够提供准确的人类行为表示,甚至在两个决策制定领域中表现比传统的认知模型更好。此外,我们展示了它们的表示含有模拟个体受试者行为所需的信息,并演示了在多个任务上进行微调的能力使得大型模型能够预测以前从未见过的任务中人类行为,这表明预先训练的大型模型可以被改进为通用认知模型,从而开辟了颠覆认知心理学和行为科学的新研究方向。
Jun, 2023
本文介绍了多语种语言模型的工作原理及其在语言分析和生成方面的能力和局限性,并提供了关于开展大型和多语种语言模型研究、开发和部署时的建议。
Jun, 2023
人工智能应用在语言相关任务中表现出巨大潜力,特别是在下一个单词预测领域。我们分析了大型语言模型作为理论信息化目标系统的表示能力与无理论强大机制工具的贡献,并确定了当前开发和利用这些模型中仍然缺失的关键能力。
Jul, 2023
大型语言模型(LLMs)是巨大的人工神经网络,主要用于生成文本,但同时也提供了一个非常复杂的语言使用概率模型。我们调查了LLMs的记忆特性,并发现它与人类记忆的关键特征存在惊人的相似性,这一结果强烈暗示了人类记忆的生物特征对我们构建文本叙述的方式产生了影响。
Nov, 2023
本文认为大型语言模型在作为语言的科学模型方面具有宝贵的科学作用,语言学研究不仅应关注语言能力背后的认知过程,还应关注语言作为外在的社会实体。通过回应一系列认为语言模型无法提供语言洞察力的论点,该文辩护了这一立场,并借鉴了科学哲学领域的最新研究,展示了大型语言模型如何能够作为科学模型的可能性。
Apr, 2024
通过对三种不同模型的测试(Bard、ChatGPT-3.5和ChatGPT-4)以及与人类结果的比较,研究了模型大小对于语言模型性能的影响,发现模型大小的增加可以提高性能,但语言模型仍不如人类敏感。
Apr, 2024
该研究论文主要讨论了关于大型语言模型(LLMs)的语言能力的关键问题,指出基于语言完整性和数据完整性的两个无根据的假设导致了关于LLMs能力的夸大和误导性说法,同时通过非行动方法论的角度提出了存在于LLMs中的三个缺失因素,即具身性、参与度和不稳定性,这些缺失因素使得LLMs在当前的架构中无法成为类似于人类的语言代理。
Jul, 2024