该研究回顾了当前深度学习语言处理网络的主要创新,讨论了一系列研究表明深度网络能够进行微妙的语法依赖性泛化,但也不依赖于系统化的组合规则,这一现象应该引起语言学家和认知科学家的兴趣。
Mar, 2019
人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式,展示了复杂的认知行为,为人类认知研究提供了新的视角和可能性。
May, 2024
研究了深度神经网络智能体在 Lewis 游戏中的模仿学习行为, 发现了组合性与模仿学习之间的关系, 带来了两个贡献:一是不同类型的学习算法对语言的影响, 二是发现组合性语言的易于模仿性
May, 2023
本文研究深度多智能体模拟中涌现的语言是否具有类似于人类语言组合性的能力,通过分离表示学习中的受启发的新的衡量组合性的方法建立了三个主要结果:在有足够的输入空间的情况下,新概念的组合性将自然而然地产生;组合性的程度与语言的泛化能力无关;虽然组合性对于泛化来说不是必要的,但对于语言传递来说提供了优势。
Apr, 2020
本研究基于多种语言和哲学理论对构成性的不同解释,提出了五个理论有据的测试方法,用于评估神经语言模型的构成性能力,结果分析了三种常见神经网络结构在高度构成性数据集上的表现和潜在改进方向。
Aug, 2019
本文探讨了神经机器翻译在自然语言处理中的组合性能力测试及其对真实数据的影响,结果显示需要重新思考神经网络的组合性评估及开发相应基准测试。
Aug, 2021
通过基于自由能原理的预测编码和主动推理框架,将视觉、本体感知和语言集成到一个受脑启发的神经网络模型中,通过多种模拟实验及机械臂的测试,研究表明,在增加任务组合的变异性时,对于学习未知的动词 - 名词组合的泛化能力得到了显著提升,这归因于语言潜在状态空间中的自组织组合结构被感觉运动学习显著影响,视觉注意和工作记忆对于准确生成视动序列以实现语言表示目标具有重要作用,这些结果推进了我们对通过语言和感觉运动经验相互作用发展组合性机制的理解。
Mar, 2024
提出通过遵循组成性原则来训练神经网络解决语言理解的挑战,并通用地应用于多种领域,进而提高机器人的安全性和公平性,所提出的网络能够显着提高自然语言理解能力,且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。
Aug, 2020
本文针对自然语言和应用语言学习中需要考虑的多种要素进行分析,重点关注神经网络的容量以及传输渠道的带宽对于学习组合性语言的影响,并且提出一种新的评估度量,以此探索神经网络的能力范围并促进系统化的广义化。
Oct, 2019
本篇论文提出一种内在奖励框架,通过强化学习设置两个代理,以在三个不同的指称游戏环境下将有限通道容量与内在奖励相结合,提高新颖环境下组合性得分约 1.5-2 倍。
Dec, 2020