Jan, 2022

递归解码：基于情境认知的基于语境的语言理解中的组合生成方法

PDF
TL;DR本文提出了 Recursive Decoding (RD) 算法，针对 “decode-side” 推理，通过逐步预测每个单词来训练 seq2seq 模型，进而在 grounded language understanding 中，以及 seq2seq 领域中实现了显著的改进。
compositional generalizationneural language modelsgrounded language understandingseq2seq modelsdecoder
发现论文，激发创造
  • 基于图的推理解码提升了问题回答的组合泛化能力

    提出了一种名为 Grounded Graph Decoding 的方法，通过使用注意力机制将结构化预测接地，从而提高语言表示的组成泛化，该方法显示出无需在目标领域做出任何假设即可学习组不变表示的能力，显著提高了复杂输入的一般性。

    Nov, 2021

  • 基于分解的序列到序列学习的真实世界组合通用化

    通过对 Disentangled sequence-to-sequence 模型进行改进，我们引入了两个关键的修改，以更好地处理语言中的组合概括，从而在现有任务和数据集上实现更好的泛化性能，并创造了一个新的机器翻译基准，并展示了这种方法比人工设计呈现更好的真实通用性。

    Dec, 2022

  • 语义标记实现组合泛化

    在语义解析中，提出了一个新的解码框架，该框架保留了序列到序列模型的表现力和通用性，同时具有类似词典的对齐和解开信息处理，能够提高模型的组合泛化能力。

    Oct, 2020

  • 神经序列模型的组合泛化能力再探讨

    本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题，重点讨论了使用一次性原语概括来增强这种能力的方法，发现通过修改训练数据的方式，能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现，并且对该现象进行了详细的实证分析，指出了模型的概括性能对于训练数据的特征非常敏感，因而应该在设计这样的基准测试时仔细考虑训练数据的选择。

    Mar, 2022

  • 重塑熟悉：测试循环网络的组合泛化能力

    研究表明，在小范围模拟的语言理解任务中，seq2seq 模型具有很强的单词和短语的组合能力，但是当需要推导出新的组合规则时，模型的表现则很糟糕，需要更多的训练。

    Jul, 2018

  • 行动之前思考：组合泛化的简单基线

    本研究基于观察到实现 gSCAN 任务的关键在于在进行 navigate 操作之前确认 target object 和转化成序列的理念，提出了一个基于注意力机制改进的模型和一个辅助损失函数，该方法对两个组合任务具有很好的性能且验证了 gSCAN 作为评估模型组合能力的基准任务的相关性。

    Sep, 2020

  • 基于场景语境的系统化概括语言理解基准测试

    本文介绍了一个新的基准测试 gSCAN，用于评估位于语言理解中的组成泛化，在语言描述中使用诸如 “在摩天轮旁边向粉色布朗托蜥蜴问候” 等常见词汇，并将其用于语言理解任务。测试发现，在需要系统的组成规则的情况下，强大的多模态基线模型和最先进的组成方法在大多数情况下都会明显地失败。

    Mar, 2020

  • 组合网络实现基于场景的语言理解的系统性泛化

    提出通过遵循组成性原则来训练神经网络解决语言理解的挑战，并通用地应用于多种领域，进而提高机器人的安全性和公平性，所提出的网络能够显着提高自然语言理解能力，且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。

    Aug, 2020

  • 无系统性泛化：关于序列到序列递归网络的组成技能

    该论文介绍了 SCAN 领域，并使用序列到序列的方法对各种复发神经网络进行零样本泛化能力的测试。研究发现，当训练和测试指令之间的差异很小时，RNN 可以成功进行零样本泛化，但是当泛化需要系统的组合能力时，RNN 则失败了。研究结论显示，缺乏系统性可能部分原因导致神经网络需要大量的训练数据。

    Oct, 2017

  • 基本替换的构成性泛化

    本研究探索使用双重表示来编码组合性，一种生成注意力图，另一种将输入转化为数字的映射。我们改进了每种表示中的熵来提高泛化能力。在五项自然语言处理任务中，实验结果显示本方法对于传统方法有显著的改进，协助实现人类级别的组合语言学习。

    Oct, 2019