Feb, 2016

递归神经网络中语言形式和功能的表示

PDF
TL;DR本文基于多任务门控循环神经网络的案例，提出了一种识别对网络最终预测贡献的关键词汇并分析 RNNs 激活模式的方法。发现该网络的语言模型层对句法功能词汇更敏感，而预测图像的层对句子的信息结构和语义信息更加敏感，并学会了根据词汇的语法功能进行不同处理，而被分化的各个隐藏单元则用于在长时间步骤中传递信息以编码长期任务相关性。
rnnslinguistic analysissyntactic functionmulti-task learninglong-term dependencies
发现论文，激发创造
  • 从音素到图像：一种循环神经模型中的表征层次结构，用于视觉语言学习

    基于堆叠门控循环神经网络的视觉语言学习模型，可以通过音素序列描述的图像描述，学习预测图像的视觉特征，并以层级结构表示语言信息。

    Oct, 2016

  • 作为心理语言学对象的 RNNs：句法状态和语法依存关系

    本研究探讨递归神经网络在自然语言处理中的应用情况，研究发现虽然这种网络可以实现递增的句法状态，但是并不总是像人类那样进行泛化，并且没有学习到合适的语法依赖配置。

    Sep, 2018

  • 语言表征在视觉语音信号模型中的应用

    基于视觉基础的言语知觉模型，使用多层循环高速公路网络对时间性建模，能够从输入信号中提取形式和基于含义的语言学知识，并分析了训练模型不同组件使用的表示方式。在表示层次结构的上升过程中，语义方面的编码越来越丰富，而语言输入中形式相关方面的编码在初始增加后呈现平稳或下降的趋势。

    Feb, 2017

  • 几近白板：针对未经分词的文本训练的基于字符级神经语言模型的语言学知识探究

    我们进行了一项多语言研究，探讨了在去除单词边界的输入数据上，以字符级语言模型为训练对象的循环神经网络通过基于输入统计量发现有用的语言单位这一更加困难和认知真实的任务的语言学知识编码。结果表明，我们的 “近乎于白板” 的循环神经网络主要能够解决形态、语法和语义任务，这些任务根据直观上的想象需要单词级别的知识，并且它们在某种程度上学会了追踪单词边界。我们的研究为关于语言学习和使用中明确、严格的单词词典必要性的猜测打开了大门。

    Jun, 2019

  • 神经语言模型作为心理语言学研究对象：句法状态的表征

    本研究使用控制的心理语言学实验方法，研究神经网络语言模型对句法状态的递增表示程度，发现 LSTM 序列模型在训练大型数据集时能够对文本中的广泛句法状态进行有效的表示，而对小型数据集的训练效果不如递归神经网络 (RNNG)。

    Mar, 2019

  • 循环神经网络的语言知识作为记忆

    通过使用外部语言知识来作为 RNN 模型的显式信号，将文本序列图形化表示并进行无环子图分解，以实现 RNN 模型对长期依赖关系的建模，并应用于文本理解任务，实现新的 SOTA 效果。

    Mar, 2017

  • 门控字、词循环语言模型

    本研究提出一种基于长短时记忆（LSTM）单元的循环神经网络语言模型（RNN-LM），有效地利用字符级和单词级输入，在预测英语文本中的下一个单词方面表现优异。

    Jun, 2016

  • 用双向递归神经网络进行具有结构的标记的令牌级别标注

    利用深度循环神经网络的双向表示方法，将句子的二叉分析树作为结构信息，结合单词向量的初始表示方法，提出了一种可以捕捉输入附近的结构信息用于标记实例的新架构，并在情感表达提取任务上进行了初步实验。

    Dec, 2013

  • 带结构感知标签表示的递归神经网络中的动态组合性

    提出一种考虑语法标签的递归神经网络 (RvNN) 架构，通过引入结构感知的标签表示，可以控制现有单词级树 LSTM 的组合函数，进而在情感分析和自然语言推理等句子级任务中取得了较优或有竞争力的表现。

    Sep, 2018

  • 语言嵌入有时包含类型学概括

    在 1295 种语言的大规模多语言数据集中训练神经网络模型，以研究神经模型对于语言结构所能学习到的广义化程度，发现神经网络模型在语言结构的广义化方面的表现并不好，并会存在误报，但有些表现仍然与语言学中的传统特征非常接近，为了鼓励在这个领域的持续研究，我们发布了多个资源，包括语言表示的多重集合、多语言单词嵌入、映射和预测的语法和形态特征以及提供语言表征的具有语言学意义的评估软件。

    Jan, 2023