May, 2024

从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

PDF
TL;DR人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。
compositionalityneural networksdeep learningcompositional generalizationmetalearning
发现论文，激发创造
  • 现代人工神经网络中的语言泛化和组合性

    该研究回顾了当前深度学习语言处理网络的主要创新，讨论了一系列研究表明深度网络能够进行微妙的语法依赖性泛化，但也不依赖于系统化的组合规则，这一现象应该引起语言学家和认知科学家的兴趣。

    Mar, 2019

  • 维护紧密性：应对新兴语言中的复合性问题

    本文研究了语言中的复合性在普遍性和人类认知中的作用，并通过两个代理人之间的沟通博弈，证明了当在适当的数据集上进行评估时，复合性确实似乎对成功的泛化至关重要。

    Jun, 2022

  • 神经网络求解数学问题中出现了组合处理

    本文探讨了人类学习机制中的组合性问题，并扩展了先前针对自然语言的神经网络研究到数学推理领域。研究发现，神经网络不仅能够学习到训练数据中的结构关系，而且能够将这些知识用于指导复合意义的组合。

    May, 2021

  • 组合成分分解：神经网络如何泛化？

    本研究基于多种语言和哲学理论对构成性的不同解释，提出了五个理论有据的测试方法，用于评估神经语言模型的构成性能力，结果分析了三种常见神经网络结构在高度构成性数据集上的表现和潜在改进方向。

    Aug, 2019

  • 自然语言复合性之悖论：基于神经机器翻译的案例研究

    本文探讨了神经机器翻译在自然语言处理中的组合性能力测试及其对真实数据的影响，结果显示需要重新思考神经网络的组合性评估及开发相应基准测试。

    Aug, 2021

  • 组合网络实现基于场景的语言理解的系统性泛化

    提出通过遵循组成性原则来训练神经网络解决语言理解的挑战，并通用地应用于多种领域，进而提高机器人的安全性和公平性，所提出的网络能够显着提高自然语言理解能力，且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。

    Aug, 2020

  • AI 模型的组合学习调查：理论与实验实践

    综述了有关计算模型和认知研究中的组合学习的文献，并连接了认知和语言模型在组合推理中面临的计算挑战。概述了形式定义、任务、评估基准、各种计算模型和理论发现，并介绍了大型语言模型的现代研究，以深入了解尖端人工智能模型展示的组合能力，并指出了未来研究的重要方向。

    Jun, 2024

  • 关于新兴神经通信中组合性和模仿之间的关系

    研究了深度神经网络智能体在 Lewis 游戏中的模仿学习行为， 发现了组合性与模仿学习之间的关系， 带来了两个贡献：一是不同类型的学习算法对语言的影响， 二是发现组合性语言的易于模仿性

    May, 2023

  • 人类和机器的功能组合学习

    在研究中，我们通过探索人类和神经网络模型在学习和推理组合函数方面的能力，发现人类能够在不同的交互条件下对视觉函数组合进行零样本泛化，比较同一任务中的神经网络模型发现，通过元学习组合性（MLC）方法，标准序列到序列的转换器能够模仿人类在函数组合中的泛化模式。

    Mar, 2024

  • 神经模型中组成通用能力的研究

    该研究介绍了一个名为 ConceptWorld 的环境，用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力，并提出了一个潜在的基准模型，以鼓励在构成和关系领域有效泛化的模型的发展。

    Jun, 2020