本研究基于多种语言和哲学理论对构成性的不同解释,提出了五个理论有据的测试方法,用于评估神经语言模型的构成性能力,结果分析了三种常见神经网络结构在高度构成性数据集上的表现和潜在改进方向。
Aug, 2019
本文针对自然语言和应用语言学习中需要考虑的多种要素进行分析,重点关注神经网络的容量以及传输渠道的带宽对于学习组合性语言的影响,并且提出一种新的评估度量,以此探索神经网络的能力范围并促进系统化的广义化。
Oct, 2019
本研究通过贝叶斯和频率分析结合,从29个LLM的数据中分析出LLMs的能力结构,发现LLMs的能力不是单一的,而是可以被解释为三个能力:推理、理解和核心语言建模,并且这三个能力可以解释模型性能的高比例差异,可以用来指导模型的改进和评测。
Jun, 2023
通过 skills-in-context 提示策略,本研究发现通过演示技能与组合示例在同一提示环境中,能够激发大型语言模型的内在潜力,使其能够解决需要创新技能组合的未见复杂问题,并且能够激活和组合这些内在竞争能力。
Aug, 2023
当前大型语言模型(LLMs)在生成符合语法、流畅的文本方面无与伦比。这篇论文针对LLMs的能力进行了辩论,并通过批判性评估三个经常在批评中出现的观点来展示LLMs仍需更多细化。其次,文章从实证和理论的角度提出了对LLMs中“真正”的理解和意向性的实用观点,并讨论了在何种情况下将心理状态归因于LLMs对于这一日益重要的技术在社会中具有实用的哲学背景。
Oct, 2023
人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式,展示了复杂的认知行为,为人类认知研究提供了新的视角和可能性。
May, 2024
综述了有关计算模型和认知研究中的组合学习的文献,并连接了认知和语言模型在组合推理中面临的计算挑战。概述了形式定义、任务、评估基准、各种计算模型和理论发现,并介绍了大型语言模型的现代研究,以深入了解尖端人工智能模型展示的组合能力,并指出了未来研究的重要方向。
Jun, 2024
追踪了70百万到28亿参数规模的3000亿标记的解码器型大语言模型中模型机制的出现和演化,发现任务能力和支持它们的功能组件在规模不同的情况下一致地出现,并且虽然这些组件可能随时间由不同的注意力头实现,但其实施的总体算法保持不变。这些结果表明,在预训练结束后进行的对小型模型的线路分析仍然适用于额外的预训练和不同规模的模型。
Jul, 2024
本综述研究了大型语言模型(LLMs)与认知科学交叉领域的相似性与差异性,分析了LLMs的认知能力评估方法及其作为认知模型的潜力。主要发现是LLMs在认知科学研究中的应用提供了重要见解,并指出了LLMs在与人类认知对齐过程中的挑战及未来研究方向。
Sep, 2024
本研究探讨了大语言模型(LLMs)与人类认知过程之间的相似性与差异性,填补了这一领域的研究空白。文章提出了一种评估LLMs认知能力的新方法,并指出了LLMs作为认知模型的潜力。研究结果强调了LLMs在理解人工智能及人类智能方面的重要性,并提出了未来研究方向。