Jan, 2022

组合性作为词汇对称性

PDF
TL;DR该文章提出了一种基于数据分布的组合建模通用框架，证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数，可在训练数据上产生新的、格式正确的例子，进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强，在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果，在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。
inductive biasescompositional modelingdata transformationrnntransformer sequence models
发现论文，激发创造
  • 组合成分分解：神经网络如何泛化？

    本研究基于多种语言和哲学理论对构成性的不同解释，提出了五个理论有据的测试方法，用于评估神经语言模型的构成性能力，结果分析了三种常见神经网络结构在高度构成性数据集上的表现和潜在改进方向。

    Aug, 2019

  • 神经模型中组成通用能力的研究

    该研究介绍了一个名为 ConceptWorld 的环境，用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力，并提出了一个潜在的基准模型，以鼓励在构成和关系领域有效泛化的模型的发展。

    Jun, 2020

  • 自然语言复合性之悖论：基于神经机器翻译的案例研究

    本文探讨了神经机器翻译在自然语言处理中的组合性能力测试及其对真实数据的影响，结果显示需要重新思考神经网络的组合性评估及开发相应基准测试。

    Aug, 2021

  • 通过分离语法和语义，在深度序列到序列模型中实现对组合概括的学习

    本文提出一种基于神经机器翻译的新模型 Syntactic Attention，采用分离语法与语义学习的方式训练，拥有捕捉人类语言组成性结构的能力，相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。

    Apr, 2019

  • 从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

    人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。

    May, 2024

  • Transformer 模型解决复合任务

    通过探索 Transformer 模型的设计空间，我们发现一些设计上的决策对该模型的归纳偏差有很大的影响。我们发现这些决策可以显著地提高 Transformer 模型的组合泛化能力，并在各种复合任务中实现了比文献报道的更好的泛化结果，并在语义分析组合泛化基准（COGS）和字符串编辑操作组合基准（PCFG）中实现了最先进的结果。

    Aug, 2021

  • 通过辅助序列预测任务诱导 Transformer 的组合泛化能力

    该论文提出了两种辅助序列预测任务来帮助解决神经模型在学习符号结构时的不足，并通过在 SCAN 数据集上的实验证明了所提出的方法可以提高 Transformer 模型理解命令的组合结构的能力。

    Sep, 2021

  • 基本替换的构成性泛化

    本研究探索使用双重表示来编码组合性，一种生成注意力图，另一种将输入转化为数字的映射。我们改进了每种表示中的熵来提高泛化能力。在五项自然语言处理任务中，实验结果显示本方法对于传统方法有显著的改进，协助实现人类级别的组合语言学习。

    Oct, 2019

  • 现代人工神经网络中的语言泛化和组合性

    该研究回顾了当前深度学习语言处理网络的主要创新，讨论了一系列研究表明深度网络能够进行微妙的语法依赖性泛化，但也不依赖于系统化的组合规则，这一现象应该引起语言学家和认知科学家的兴趣。

    Mar, 2019

  • 组合网络实现基于场景的语言理解的系统性泛化

    提出通过遵循组成性原则来训练神经网络解决语言理解的挑战，并通用地应用于多种领域，进而提高机器人的安全性和公平性，所提出的网络能够显着提高自然语言理解能力，且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。

    Aug, 2020