Apr, 2019

通过分离语法和语义，在深度序列到序列模型中实现对组合概括的学习

PDF
TL;DR本文提出一种基于神经机器翻译的新模型 Syntactic Attention，采用分离语法与语义学习的方式训练，拥有捕捉人类语言组成性结构的能力，相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。
deep learningnatural language processingcompositional structuresyntactic attentiongeneralization
发现论文，激发创造
  • 语义标记实现组合泛化

    在语义解析中，提出了一个新的解码框架，该框架保留了序列到序列模型的表现力和通用性，同时具有类似词典的对齐和解开信息处理，能够提高模型的组合泛化能力。

    Oct, 2020

  • 神经序列模型的组合泛化能力再探讨

    本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题，重点讨论了使用一次性原语概括来增强这种能力的方法，发现通过修改训练数据的方式，能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现，并且对该现象进行了详细的实证分析，指出了模型的概括性能对于训练数据的特征非常敏感，因而应该在设计这样的基准测试时仔细考虑训练数据的选择。

    Mar, 2022

  • 组合推理需要组合分析器

    该研究系统比较了序列到序列模型和基于组合原则的模型在 COGS 语料库上处理组合泛化能力的能力，在结构泛化任务中，基于序列的模型表现接近零，而组成模型在结构泛化任务中表现接近完美，这表明结构泛化是组成泛化的关键度量，需要能够处理复杂结构的模型。

    Feb, 2022

  • 组合泛化和自然语言变化：语义解析方法可以同时处理吗？

    探讨如何开发一种语义解析方法，既可应对自然语言变异，又能在组合推理方面具有强大的针对性。我们在非合成数据集上提出了新的训练和测试集分割，证明现有方法在广泛的测试中表现不佳。并提出了 NQG-T5，这是一个混合模型，结合了高精度的基于语法的方法和预先训练的序列到序列模型。它在非合成数据上的多个组合泛化挑战中优于现有方法，在标准评估上也具有竞争力。

    Oct, 2020

  • 基本替换的构成性泛化

    本研究探索使用双重表示来编码组合性，一种生成注意力图，另一种将输入转化为数字的映射。我们改进了每种表示中的熵来提高泛化能力。在五项自然语言处理任务中，实验结果显示本方法对于传统方法有显著的改进，协助实现人类级别的组合语言学习。

    Oct, 2019

  • 神经机器翻译中的结构泛化评估

    本研究探讨了机器翻译和语义解析中的复合通用性问题，并发现神经机器翻译模型在句法结构的通用性上存在困难，而语义解析和机器翻译具有不同的性能趋势。

    Jun, 2024

  • 序列到序列模型对结构泛化的困难

    通过实验证明，Seq2Seq 模型在英语句法分析、语义分析和文本之间的转换任务中，普遍存在推广的普适性较低的问题，但是在建立了语言知识的神经符号模型中，这些限制往往可以克服。

    Oct, 2022

  • 语法指导的 Transformer: 在多模态环境中提升组合泛化能力和基于语境的理解

    利用句法结构的注意力屏蔽技术从根本上提高了组合概括的重要性，特别是在多模式环境中的语义根基问题。通过在 Transformer 编码器中的权重共享，依赖解析在不同任务中推动了基于语法的组合概括的最新研究。这些结果提高了多模式语义根基和参数高效建模的技术水平，并为未来的研究提供了深入洞察。

    Nov, 2023

  • 通过结构标注提高分类任务中的组合泛化能力

    本文研究了复合推理在分类任务中的应用，并提出结构提示（如句法树和实体链接）对于解决神经模型复合推理问题具有较好的效果。

    Jun, 2021

  • 现代人工神经网络中的语言泛化和组合性

    该研究回顾了当前深度学习语言处理网络的主要创新，讨论了一系列研究表明深度网络能够进行微妙的语法依赖性泛化，但也不依赖于系统化的组合规则，这一现象应该引起语言学家和认知科学家的兴趣。

    Mar, 2019