EMNLPSep, 2021

gSCAN 上的系统性概括：几乎解决了什么问题，下一步又是什么？

PDF
TL;DR本篇论文通过研究 gSCAN 基准测试来探讨通用 Transformer 模型和跨模式关注方法在多模态研究中的应用，以此揭示语言构造系统化泛化方面的挑战。同时，作者提出了一些新的任务来挑战现有模型，并发现当前模型在指令狭窄范围内数据利用效率较低。
gscan benchmarkgrounded language understandingmulti-modal researchtransformer-based modelsystematic generalization
发现论文，激发创造
  • 基于场景语境的系统化概括语言理解基准测试

    本文介绍了一个新的基准测试 gSCAN，用于评估位于语言理解中的组成泛化，在语言描述中使用诸如 “在摩天轮旁边向粉色布朗托蜥蜴问候” 等常见词汇，并将其用于语言理解任务。测试发现，在需要系统的组成规则的情况下，强大的多模态基线模型和最先进的组成方法在大多数情况下都会明显地失败。

    Mar, 2020

  • gSCAN 的语言条件嵌入上的系统泛化

    通过动态消息传递学习对象的情境嵌入，我们提出了一种新的方法，以输入的自然语言为条件，并通过端到端深度学习模块进行训练，以实现系统化泛化，该模型在 grounded-SCAN 上达到了最优性能。

    Sep, 2020

  • 行动之前思考：组合泛化的简单基线

    本研究基于观察到实现 gSCAN 任务的关键在于在进行 navigate 操作之前确认 target object 和转化成序列的理念，提出了一个基于注意力机制改进的模型和一个辅助损失函数，该方法对两个组合任务具有很好的性能且验证了 gSCAN 作为评估模型组合能力的基准任务的相关性。

    Sep, 2020

  • 更好的结论：左右 SCAN 并进

    研究对比分析了两个数据集（SCAN 和 NACS）对循环编码器的细致测试，结果表明在 NACS 上表现良好的模型未必在 SCAN 上也表现良好，这为理解序列到序列模型的泛化特性提供了新视角。

    Sep, 2018

  • 当可以进行变形器基础和组合：来自组合泛化基准测试的见解

    使用谷歌的翻译翻译：“该论文介绍了基于变压器的模型如何理解世界，并将语言表达与现实世界联系起来，这对研究者在这一领域的工作非常有帮助。通过在基于网格的导航任务上进行的基准测试，我们发现识别网格世界中的目标位置是模型面临的主要挑战，变压器可以泛化到更深的输入结构，并提供了一种更简单的基于调节的组合任务，以调查变压器的计算行为。

    Oct, 2022

  • ReaSCAN: 语言基础中的组合推理

    本文介绍了一个新的基准数据集 ReaSCAN，它比现有的语言指导场景 gSCAN 更具挑战性，可以用于评估模型的复合泛化和推理能力。

    Sep, 2021

  • 变形金刚能否在自然语言中随意跳跃？从 SCAN 评估性能转移

    研究表明，进行 SCAN 样式的组合泛化可在低资源和领域偏移场景下提高机器翻译的性能。

    Jul, 2021

  • 系统性概括：所需和可学习性？

    比较了通用模型和模块化模型在系统化泛化方面的不同，发现模块化模型更具系统性，且高度敏感于模块排列方式，还探究了一些方法，结果表明，除了模块化，语言理解的系统泛化可能需要显式的正则化器或先验。

    Nov, 2018

  • SCAN：学习分层组合视觉概念

    该论文介绍了一种名为 SCAN 的学习框架，可通过快速符号关联以无监督方式发现视觉基元并将其作为抽象概念来学习概念。SCAN 还可以通过符号指令遍历和操作视觉概念的隐式层次结构，并通过逻辑组合操作创建视觉概念的新组合，并能够生成多模态双向推断的结果。

    Jul, 2017

  • 通过模块化和增强改进系统化的泛化能力

    本研究研究了通过模块化和数据增量方法对神经网络在基于自然语言语境的学习中实现系统化综合的影响，并发现具有认知过程至少两个模块的神经网络比非模块基线更容易通过扩充数据实现系统化综合。

    Feb, 2022