May, 2023

使用图嵌入增强从长科学文档中提取关键词

PDF
TL;DR本研究探讨使用图神经网络 (GNN) 表示来增强预训练语言模型 (PLMs) 的上下文表示，用于从长文档中提取关键词。我们构建了文本的共现图，并使用在边预测任务上训练的图卷积网络 (GCN) 进行嵌入。我们提出了一种增强序列标记体系结构来增强 PLM 嵌入与图嵌入。在基准数据集上评估，我们证明了使用图嵌入增强 PLM 在长文档上的性能优于现有最先进模型，并在所有数据集上显示了 F1 分数的显著改进。我们的研究突显了 GNN 表示的潜力，作为改善从长文档中提取关键词时 PLM 性能的补充方法。
graph neural networkpre-trained language modelskeyphrase extractionco-occurrence graphsequence tagging architecture
发现论文，激发创造
  • 蛋白质图形的神经嵌入

    本文提出了一种利用图神经网络和自然语言大模型生成结构和序列感知型蛋白质表示的新框架，并将其与传统的基于结构对齐的方法相比较，证明了该方法在比较蛋白质结构和蛋白质结构分类任务中的优越性能。

    Jun, 2023

  • 增强生成语言模型中的句子嵌入的简单技术

    本研究挑战了从预训练语言模型（PLMs）中获得句子嵌入所必须的显式单字限制的普遍观点，并通过实验证明了这种方法对于判别模型或生成型 PLMs 的精调并非必需。在此基础上，我们提出了两种创新的提示工程技术，可以进一步增强 PLMs 原始嵌入的表达能力：假装的思路链和知识增强，并详细研究了导致其成功的潜在因素。

    Apr, 2024

  • 探索大型语言模型在图学习中的潜力

    本文旨在探索使用大型语言模型（LLMs）进行图机器学习的潜力，特别是节点分类任务，并调查两种潜在的流程：LLMs 作为增强器和 LLMs 作为预测器。通过全面而系统的研究，我们获得了原创性观察并发现新的见解，为利用 LLMs 进行图学习提供了新的可能性和有希望的方向。

    Jul, 2023

  • 图形语言模型

    图形语言模型（GLM）集成了线性文本模型（LM）和图神经网络（GNN）的优点，同时减轻它们的弱点，在有监督和零样本情况下，在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。

    Jan, 2024

  • 利用上下文化嵌入的序列标注方法从学术文章中提取关键短语

    本文提出了一种使用 BiLSTM-CRF 模型和深度语境化嵌入来解决学术论文关键词提取问题，结果表明使用语境化嵌入、BiLSTM-CRF 结构和针对特定类型文章的语境化嵌入可以达到更好的性能，并且我们还分析了各种模型的优劣。

    Oct, 2019

  • 用于图指导调优的联合嵌入

    该论文研究了将图模态集成到大型语言模型中，以提升其在图解指令任务中的性能表现，并通过图嵌入训练模型，使其能够理解和基于图表示生成回答。该方法在性能上显著优于图文方法，并且对于较大的图结构保持一致。

    May, 2024

  • 图注意力网络实现的对比文档表征学习

    本文提出使用图注意力网络在可用的预训练 Transformer 模型之上来学习文档嵌入，并基于该模型设计简单的对比学习策略，在大量无标签语料库上预训练模型。经验证明，我们的方法在文档分类和文档检索任务中是有效的。

    Oct, 2021

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • 面向图文生成的逐阶微调算法

    本文提出了一种带有两个阶段微调机制的结构化图文模型，结合传统的标记和位置嵌入以及新颖的树级嵌入方法，显著提高了英语 WebNLG 2017 数据集的所有文本生成指标

    May, 2021

  • 利用大型语言模型强化文本属性图学习

    通过采用轻量级范式 ENG 以 Large Language Models 为基础，增强文本属性的图数据，包括通过节点生成使用 LLMs 提取语义信息和生成样本，以及通过边缘预测器将新生成的样本与原始图结合，从而在少样本情况下促进节点分类任务。

    Oct, 2023