MMOct, 2022

构建和评估一种自注意力模型，用于句末语气词的语义理解

PDF
TL;DR本文介绍了 Subjective BERT，一种自注意力模型，能够获取日语中表达话者态度的句末助词（sentence-final particles）的意义和应用，并通过评估实验证明模型对 'yo' 和 'ne' 的使用具有能力。
japanesesentence-final particlessubjective bertself-attention modelevaluation experiment
发现论文，激发创造
  • 一种结构化的自注意句子嵌入

    本文提出了一种基于自注意力机制的句子嵌入模型，通过使用二维矩阵表示嵌入，并让每行矩阵分别关注句子中不同的部分，提高了可解释性。并在作者分析、情感分类和文本蕴含等三个任务中进行了模型评估，在所有任务中与其它句子嵌入方法相比表现出了显著的性能提升。

    Mar, 2017

  • 基于增强语法自注意力的语义角色标注

    本文研究了如何有效地将句法知识融入语义角色标注（SRL）任务中，使用不同质量和表示的依赖树的不同编码方法，提出了一种句法增强的自注意模型，并与其他两种强基准方法进行了比较，并使用新发布的深度上下文化词表示进行了实验。实验结果表明，通过正确地融合高质量的句法信息，我们的模型在 CoNLL-2009 数据集的中文 SRL 任务中取得了新的最佳表现。

    Oct, 2019

  • 外语语法

    采用领域无关的注意力增强序列到序列模型在一大合成语料库的标注基础上取得了最先进的效果，训练小规模人工标注的数据集时也达到了标准解析器的表现，且较大程度上提高了数据利用率和处理速度。

    Dec, 2014

  • 语言学知识自注意力在语义角色标注中的应用

    本研究提出了一种基于语言学的自我 - 注意力神经网络（LISA），它利用多头自我注意力和跨依存句法分析，词性标注，谓词检测和语义角色标注的多任务学习，无需显式地利用语言特征，只需使用标记作为输入进行处理，从而提高语义角色标注的准确性。

    Apr, 2018

  • 限制记忆能力的语言模型捕捉人类句子处理中的干扰

    该研究通过开发一个具有单个自注意头的循环神经语言模型，捕捉到了人类实验中观察到的语义和句法干扰效应。

    Oct, 2023

  • 通过神经注意力机制实现从语言到逻辑形式的转换

    本研究提出了一种基于注意力增强的编码器 - 解码器模型的通用方法，旨在消除传统方法所需的高质量词汇表、手工构建的模板和语言特征等问题，并可在不同领域和意义表示之间进行易于调整的转化，实验结果表明，该方法在不使用手工特征的情况下表现出了较强的竞争力。

    Jan, 2016

  • 人类关注下的句子表示学习

    研究发现，将不同权重分配给句子中的单词能够有效提高句子的表达能力，该论文提出了两种基于 Surprisal、POS tags 和 CCG supertags 的注意力机制模型用于改进句子表示，实验证明这种方法显著优于现有模型。

    Sep, 2016

  • 基于注意力的语义相关性预测中文句子阅读

    该研究提出了一种具有注意力机制的方法来计算上下文语义相关性，这种方法能更准确地预测眼动数据库中基于汉语阅读任务的定视持续时间，并具有高解释性，有助于深入理解语言理解过程。

    Mar, 2024

  • 基于语法的自然语言推理注意力模型

    本文探讨了在自然语言推理的背景下，将注意力机制应用到句法树这种更加丰富的拓扑结构上，不仅可以利用底层的句法信息，还可以使注意力更具可解释性。结果表明，该方法非常有效，并进行了广泛的质量分析，提取出了为什么以及如何工作的见解和直觉。

    Jul, 2016

  • 重新思考自注意力：朝向神经解析可解释性

    本研究提出了标签关注层，一种新的自注意形式，其中关注头表示标签。运行实验并在 Penn Treebank（PTB）和中文 Treebank 上展示出其在词法句法分析方面的最新成果，标签关注层在该实验中表现出了更好的性能，相比现有工作需要较少的自我注意层数。最后，我们发现标签注意头学习了语法类别之间的关系，并显示了分析错误的路径。

    Nov, 2019