ACLJun, 2019

神经网络中组合性实现

PDF
TL;DR本文详细比较了两种序列模型在试图解决合成任务时的差别，通过更多的监督信号，辅助注意机制，参数空间和隐藏层激活机制的不同，发现具有引导性的网络在识别更组合解决方案方面具有更高的效率，并且展现出更加模块化的神经元特点。
sequence to sequence modelscompositional taskattentive guidanceparameter spacemodular structure
发现论文，激发创造
  • 通过专注的指导进行复合学习

    介绍了 Attentive Guidance，这是一种机制，可以指导序列到序列模型配备关注机制，以找到更多的组合解决方案。通过测试，证明序列到序列模型具备在不需要额外组件的情况下找到组成性解决方案的能力。

    May, 2018

  • 组合转码：利用注意力发现更具普适性的解决方案

    本文介绍了 seq2attn，这是一种新的架构，旨在利用注意力来发现输入中的组合模式。这篇论文证明了 seq2attn 可以成功地推广应用于挑战神经网络组合技能的两项任务。

    Jun, 2019

  • 组合成分分解：神经网络如何泛化？

    本研究基于多种语言和哲学理论对构成性的不同解释，提出了五个理论有据的测试方法，用于评估神经语言模型的构成性能力，结果分析了三种常见神经网络结构在高度构成性数据集上的表现和潜在改进方向。

    Aug, 2019

  • 超网络中的注意力

    使用超网络将多头注意力重新定义为低维潜在代码来加强 Transformer 的组合泛化能力，在抽象推理任务上展示了模型规模和数据扩展如何实现组合泛化并生成功能结构化的潜在代码。

    Jun, 2024

  • 行动之前思考：组合泛化的简单基线

    本研究基于观察到实现 gSCAN 任务的关键在于在进行 navigate 操作之前确认 target object 和转化成序列的理念，提出了一个基于注意力机制改进的模型和一个辅助损失函数，该方法对两个组合任务具有很好的性能且验证了 gSCAN 作为评估模型组合能力的基准任务的相关性。

    Sep, 2020

  • 神经模型中组成通用能力的研究

    该研究介绍了一个名为 ConceptWorld 的环境，用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力，并提出了一个潜在的基准模型，以鼓励在构成和关系领域有效泛化的模型的发展。

    Jun, 2020

  • 在 NLP 中可视化和理解神经模型

    在这篇论文中，我们描述了四种策略，用于可视化 NLP 神经模型中的组合性。我们介绍了三种简单的方法以可视化单元对最终合成表示的影响，并在情感分析方面测试了这些方法，发现 LSTMs 的表现优于简单的递归神经网络。

    Jun, 2015

  • 使用组合神经模块网络进行图像字幕生成

    本文介绍了一种基于组合神经模块网络和分层框架的图像字幕方案，探索了自然语言的组成和顺序性，选择性地关注输入图像中每个检测到的对象的不同模块，以包括计数和颜色等特定描述，提出模型优于现有模型，结果表明我们的组成模块网络能够有效地生成准确和详细的图像字幕。

    Jul, 2020

  • 通过分离语法和语义，在深度序列到序列模型中实现对组合概括的学习

    本文提出一种基于神经机器翻译的新模型 Syntactic Attention，采用分离语法与语义学习的方式训练，拥有捕捉人类语言组成性结构的能力，相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。

    Apr, 2019

  • 一种具有视觉文本组合行为的深度网络

    我们提出了一种深度网络，能够实现文本分类的高准确率，并表现出组合行为，即网络的低层将层特定的注意力权重分配给单个单词，而高层组成有意义的短语和从句，其长度随着网络的加深而增加，直到完全组合成句子。

    Jul, 2017