EMNLPOct, 2022

当可以进行变形器基础和组合：来自组合泛化基准测试的见解

PDF
TL;DR使用谷歌的翻译翻译：“该论文介绍了基于变压器的模型如何理解世界，并将语言表达与现实世界联系起来，这对研究者在这一领域的工作非常有帮助。通过在基于网格的导航任务上进行的基准测试，我们发现识别网格世界中的目标位置是模型面临的主要挑战，变压器可以泛化到更深的输入结构，并提供了一种更简单的基于调节的组合任务，以调查变压器的计算行为。
grounded compositional reasoningnavigation taskstransformersgeneralizationgrid world
发现论文，激发创造
  • 行动之前思考：组合泛化的简单基线

    本研究基于观察到实现 gSCAN 任务的关键在于在进行 navigate 操作之前确认 target object 和转化成序列的理念，提出了一个基于注意力机制改进的模型和一个辅助损失函数，该方法对两个组合任务具有很好的性能且验证了 gSCAN 作为评估模型组合能力的基准任务的相关性。

    Sep, 2020

  • 基于场景语境的系统化概括语言理解基准测试

    本文介绍了一个新的基准测试 gSCAN，用于评估位于语言理解中的组成泛化，在语言描述中使用诸如 “在摩天轮旁边向粉色布朗托蜥蜴问候” 等常见词汇，并将其用于语言理解任务。测试发现，在需要系统的组成规则的情况下，强大的多模态基线模型和最先进的组成方法在大多数情况下都会明显地失败。

    Mar, 2020

  • Transformer 模型解决复合任务

    通过探索 Transformer 模型的设计空间，我们发现一些设计上的决策对该模型的归纳偏差有很大的影响。我们发现这些决策可以显著地提高 Transformer 模型的组合泛化能力，并在各种复合任务中实现了比文献报道的更好的泛化结果，并在语义分析组合泛化基准（COGS）和字符串编辑操作组合基准（PCFG）中实现了最先进的结果。

    Aug, 2021

  • 通过辅助序列预测任务诱导 Transformer 的组合泛化能力

    该论文提出了两种辅助序列预测任务来帮助解决神经模型在学习符号结构时的不足，并通过在 SCAN 数据集上的实验证明了所提出的方法可以提高 Transformer 模型理解命令的组合结构的能力。

    Sep, 2021

  • 语法指导的 Transformer: 在多模态环境中提升组合泛化能力和基于语境的理解

    利用句法结构的注意力屏蔽技术从根本上提高了组合概括的重要性，特别是在多模式环境中的语义根基问题。通过在 Transformer 编码器中的权重共享，依赖解析在不同任务中推动了基于语法的组合概括的最新研究。这些结果提高了多模式语义根基和参数高效建模的技术水平，并为未来的研究提供了深入洞察。

    Nov, 2023

  • 组合网络实现基于场景的语言理解的系统性泛化

    提出通过遵循组成性原则来训练神经网络解决语言理解的挑战，并通用地应用于多种领域，进而提高机器人的安全性和公平性，所提出的网络能够显着提高自然语言理解能力，且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。

    Aug, 2020

  • 变形金刚能否在自然语言中随意跳跃？从 SCAN 评估性能转移

    研究表明，进行 SCAN 样式的组合泛化可在低资源和领域偏移场景下提高机器翻译的性能。

    Jul, 2021

  • 超网络中的注意力

    使用超网络将多头注意力重新定义为低维潜在代码来加强 Transformer 的组合泛化能力，在抽象推理任务上展示了模型规模和数据扩展如何实现组合泛化并生成功能结构化的潜在代码。

    Jun, 2024

  • 神经程序合成中的组合泛化和分解

    本文介绍了一种测量神经程序合成方法能否组合泛化的方法，引入了基于两个流行数据集的任务基准套件，以评估合成器在组合泛化方面的能力，最后通过新的注意机制来改进变压器模型的组合泛化能力

    Apr, 2022

  • ReaSCAN: 语言基础中的组合推理

    本文介绍了一个新的基准数据集 ReaSCAN，它比现有的语言指导场景 gSCAN 更具挑战性，可以用于评估模型的复合泛化和推理能力。

    Sep, 2021