Oct, 2023

通过解耦上下文表示学习和结构信息传播重新审视图形意义表示

PDF
TL;DR在自然语言理解领域中，神经模型和图形意义表达（GMR）的交叉点仍然是一个引人注目的研究领域。本文通过引入 DAGNN-plus，一种简单且参数高效的神经架构，将上下文表示学习与结构信息传播解耦，从而填补 GMR 的确切影响的空白。通过与各种序列编码器和 GMRs 配对，该架构为英文和中文的两个数据集上进行系统实验提供了基础。实证分析使用了四种不同的图形形式和九个解析器。结果对 GMRs 的理解提供了细致入微的认识，显示出四个数据集中有三个的改进，特别是依靠高度准确的解析器的英文比中文更受青睐。有趣的是，与一般领域数据集相比，GMRs 对文学领域数据集的有效性较低。这些发现为更加明智地设计 GMRs 和解析器以提高关系分类奠定了基础，预计对自然语言理解研究的未来发展产生实质性影响。
natural language understandingneural modelsgraph meaning representationsrelation extraction tasksgmrs
发现论文，激发创造
  • 鲁棒的增量神经语义图解析

    该研究提出了一个基于神经编码器 - 解码器的转移句法分析器，可以作为关于最小递归语义的完全覆盖的语义图分析器，预测图与非词汇化谓词及其标记对齐共同。该分析器比注意力模型基准更准确，并且在 GPU 批处理方面比高精度基于语法的分析器快一个数量级。此外，我们的最小递归语义分析器的 86.69％ Smatch 得分高于 AMR 分析的上限，这使得 MRS 成为有吸引力的语义表示选择。

    Apr, 2017

  • MR-GNN：用于预测结构化实体交互的多分辨率和双图神经网络

    本文提出了 MR-GNN，这是一种具有多分辨率结构的图神经网络，能够从不同尺度的数据邻域中提取特征以及提取成对图之间的交互特征，相较于现有方法，显示出更好的预测效果。

    May, 2019

  • 情境化信息强化图表示

    本论文从理论角度探索了具有不可数节点特征表示的图神经网络的表征能力，提出了一种新颖的软同构关系图卷积网络（SIR-GCN），并通过与其他常用图神经网络的数学关系进行验证，证明其在简单节点和图属性预测任务中优于其他模型。

    Mar, 2024

  • 语言和图神经网络模型的高效有效训练

    本文提出了一种有效的框架，称为语言模型图神经网络 (LM-GNN)，通过分阶段的 BERT 模型微调来结合异构图结构与文本，以便在多项监督学习任务中实现节点和边分类以及链接预测，并在不同的数据集上评估了这个框架且在一个亚马逊搜索 - 购买 - 产品的应用中提供了有竞争力的结果。

    Jun, 2022

  • 使用生成参数的图神经网络进行关系提取

    本文提出了一种基于自然语言句子来生成图神经网络参数的方法（GP-GNNs），使 GNN 能够处理非结构化文本输入的关系推理，验证了在文本关系抽取中的有效性，并展示了我们的模型通过多跳关系推理可以发现更准确的关系。

    Feb, 2019

  • DocGraphLM: 信息提取的文档图谱语言模型

    该研究论文介绍了一种名为 DocGraphLM 的新型框架，它结合了预训练语言模型和图形语义，通过使用联合编码器架构来表示文档，并采用一种新颖的链接预测方法来重构文档图。DocGraphLM 通过采用图形特征，在信息提取和问答任务中持续改善了目标性能，并且提供了在训练过程中加速收敛的优点。

    Jan, 2024

  • 图神经网络：方法和应用综述

    本文介绍了图神经网络（GNNs）的设计管道，详细讨论了其各个组成部分的变体，对其应用进行了系统分类，并提出了四个开放性问题供未来研究。

    Dec, 2018

  • 使用树形约束的指针生成器图神经网络进行上下文 ASR

    本文提出了一种基于图神经网络编码的端到端上下文自动语音识别新方法，通过树限制指针生成方法，将上下文知识中的偏向词整合到识别过程中，显著降低了词误率。

    May, 2023

  • 图形语言模型

    图形语言模型（GLM）集成了线性文本模型（LM）和图神经网络（GNN）的优点，同时减轻它们的弱点，在有监督和零样本情况下，在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。

    Jan, 2024

  • 强大图表示的重建

    本研究介绍了如何利用图重构技术来解决图神经网络架构存在的理论和实践问题，从而提高其表现力并实现应用于现实世界中的性能提升。

    Oct, 2021