ICMLJun, 2021

使用连续递归神经网络建模分层结构

PDF
TL;DR本文提出 Continuous Recursive Neural Network (CRvNN) 作为递归神经网络（RvNN）的可替换方案，以解决传统 RvNN 在处理序列中诱导潜在结构方面的局限性，并通过在潜在结构中引入连续松弛来改进该方案，从而在逻辑推理和自然语言处理等多项任务中取得了显著表现。
recursive neural networkscrvnnplain text sequencecontinuous relaxationnatural language processing
发现论文，激发创造
  • 带结构感知标签表示的递归神经网络中的动态组合性

    提出一种考虑语法标签的递归神经网络 (RvNN) 架构，通过引入结构感知的标签表示，可以控制现有单词级树 LSTM 的组合函数，进而在情感分析和自然语言推理等句子级任务中取得了较优或有竞争力的表现。

    Sep, 2018

  • 建模分层结构的重要性与循环神经网络

    比较循环神经网络和非循环神经网络对于建模层级结构的能力，发现循环神经网络在这方面的重要性。

    Mar, 2018

  • 使用连续循环单元对不规则时间序列进行建模

    本研究提出了一种称为连续循环单元 (CRUs) 的神经网络架构，它可以自然地处理不规则的时间间隔观察数据。研究发现，这种架构具有时间上的连续性和优化集成嘈杂观察的门控机制。我们在挑战性数据集上对 CRU 进行了实证研究，并发现它比基于神经微分方程的方法更好地插值了不规则时间序列。

    Nov, 2021

  • 无监督循环神经网络语法

    本文介绍利用无监督学习方法，采用变分推断的深度学习算法，成功地应用于语法树和句子的生成，在语言建模和语法识别领域已经有较广泛的应用。

    Apr, 2019

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 学习构建任务特定的树状结构

    本文提出了 Gumbel Tree-LSTM，一种动态学习如何高效地组成特定任务的树形结构的长短时记忆网络，可用于自然语言推理和情感分析任务中，并能与以前的模型相媲美甚至胜出，同时收敛速度更快。

    Jul, 2017

  • 卷积分层递归神经网络学习上下文依赖关系

    该研究提出了一种基于深度卷积神经网络和分层递归神经网络的图像分类模型，以更好地编码图像区域之间的空间和比例依赖关系，从而取得了在四个具有挑战性的目标 / 场景图像分类基准测试中最先进的结果。

    Sep, 2015

  • 利用图卷积循环神经网络进行结构化序列建模

    本文介绍了图卷积循环网络（GCRN），这是一种深度学习模型，能够预测结构化数据序列。GCRN 是经典递归神经网络（RNN）在任意图结构数据上的泛化。该模型将图上的卷积神经网络 (CNN) 与 RNN 相结合，以找出动态模式和空间结构，并将其应用于 MNIST 数据预测和 Penn Treebank 数据集的自然语言建模。实验表明，同时利用数据的图空间和动态信息可以提高精度和学习速度。

    Dec, 2016

  • GRASS: 用于形状结构的生成递归自编码器

    介绍了一种新颖的神经网络架构，用于编码和合成 3D 形状的层次结构，其中包括生成模型和形状合成模块。

    May, 2017

  • 用变分循环神经网络进行图分类

    本文提出了一种基于自然语言处理技术的图分类方法，使用结构信息嵌入，采用类似于 NLP 的证明技术，对几个标准分子数据集进行了实验，取得了最先进的分类结果，并对节点预测是否有助于更好地分类图进行了定性分析。

    Feb, 2019