May, 2017

使用语法可解释表达式的问答

PDF
TL;DR使用承载基本语言学概念的 Tensor Product Recurrent Network (TPRN) 架构，在深度神经网络 QA 任务中学习内部表示，并成功解释了单词的语义含义与语法角色，从而证明了模型可以从未标注的文本中学习语法。
tensor product recurrent networkdeep neural networktextual question answeringlinguistic theorygrammar learning
发现论文，激发创造
  • 循环神经网络隐含地实现张量积表示

    使用 Tensor Product Decomposition Networks（TPDNs）来近似现有向量表示，证明 RNNs 可以通过 Tensor Product Representations（TPRs）引导序列表示。

    Dec, 2018

  • 表示形式作为语言：一个信息论解释的框架

    通过一种新颖的可解释性方法，该论文使用信息论度量量化了神经模型对输入的表示的结构化程度，从而预测模型的泛化能力，并发现模型的代表性和噪声强度有关。此外，研究还研究了模型大小对表示空间结构的影响。

    Jun, 2024

  • 神经语言模型中的隐含意义表示

    研究表明预先训练的神经语言模型中的预测至少部分地由意义的动态表示和实体状态的隐含模拟支持，并且这种行为可以仅依靠文本作为训练数据来学习。

    Jun, 2021

  • 具有句法信息的异构图变换器问答

    本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。

    Apr, 2022

  • 使用结构化张量积表示丰富 Transformer 来进行抽象概括

    本文介绍了一种在输入文档中识别关键信息并把它们组织成简短摘要的方法：使用增强型 Transformer 架构 TP-TRANSFORMER（Schlag et al.，2019），该架构通过引入 Tensor Product Representation（TPR）并采用双重编码来表示句法结构和语义内容。实验证明该方法能够在多个抽象摘要数据集上显著地胜过传统的 Transformer 和原始的 TP-TRANSFORMER，同时表现出更好的句法和语义解释性能。

    Jun, 2021

  • 递归神经网络中语言形式和功能的表示

    本文基于多任务门控循环神经网络的案例，提出了一种识别对网络最终预测贡献的关键词汇并分析 RNNs 激活模式的方法。发现该网络的语言模型层对句法功能词汇更敏感，而预测图像的层对句子的信息结构和语义信息更加敏感，并学会了根据词汇的语法功能进行不同处理，而被分化的各个隐藏单元则用于在长时间步骤中传递信息以编码长期任务相关性。

    Feb, 2016

  • 可视化和测量 BERT 的几何形状

    本文描述了一种特别有效的模型 BERT，它能够通过从语义和句法子空间中提取一般有用的语言特征来代表语言信息，同时还探讨了注意力矩阵和单词嵌入中的句法表示，并提出了一种数学证明来解释这些表示的几何形态。

    Jun, 2019

  • 预训练图循环网络用于语言表示

    本研究提出了一种基于图循环网络的语言模型预训练方法，其在性能、效率和生成多样性方面优于基于注意力机制的 Transformer，用于自监督学习的时候有较高的潜力。

    Sep, 2022

  • 递归神经张量网络能否学习逻辑推理？

    该研究使用构造的逻辑推理短句的语料库训练了一种递归模型，其使用的递归神经网络模型和相应的词向量表示已在各种越来越语义复杂的任务中实现成功，但几乎不知道它们是否能准确捕捉必要的语言意义方面。该模型学习到的表示形式在所有但少数情况下都很好地推广到新的推理模式，这一结果为掌握逻辑推理和学习表示模型的能力提供了希望。

    Dec, 2013

  • 使用三阶张量积学习推理

    本文采用递归神经网络与张量积表示相结合的方法，学习顺序数据的组合表示并在多个简单的自然语言推理任务中取得显著优于最新先进模型的表现，同时证明该方法的泛化性能优于现有最新先进技术。

    Nov, 2018