WWWJan, 2021

TextGNN: 基于图神经网络的赞助搜索文本编码器优化

PDF
TL;DR提出了一种名为 TextGNN 模型的文本编码器，结合了用户历史行为中的图形信息，自然地扩展了强的双塔结构编码器，可以在低延迟环境中使用，同时在离线和在线的实验中都取得了显著的性能提升。
text encodersc-dssmtransformerstextgnn modelnlu challenges
发现论文，激发创造
  • 语言和图神经网络模型的高效有效训练

    本文提出了一种有效的框架，称为语言模型图神经网络 (LM-GNN)，通过分阶段的 BERT 模型微调来结合异构图结构与文本，以便在多项监督学习任务中实现节点和边分类以及链接预测，并在不同的数据集上评估了这个框架且在一个亚马逊搜索 - 购买 - 产品的应用中提供了有竞争力的结果。

    Jun, 2022

  • 基于文本图的大型语言模型的高效调优和推理

    通过将大型语言模型（LLMs）与图神经网络（GNNs）相结合，我们提出了一个参数和内存效率的 FINE-TUNING 方法来处理文本图，该方法通过可调的边结构显著降低了训练复杂性，同时在文本图上获得了最佳模型性能，且训练成本最低。

    Jan, 2024

  • 图形转换器用于图形到序列学习

    本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

    Nov, 2019

  • 用于句法感知神经机器翻译的图卷积编码器

    这篇研究论文介绍了一种简单有效的方法来将句法结构融入到神经注意力编码解码模型中，以实现机器翻译。文中使用了预测的源句子句法依赖树，用于生成敏感于句法周边的单词表示，以达到最佳效果。研究的实验结果表明，在英德翻译和英捷翻译方面的所有设置中，与其不考虑语法结构的版本相比，该方法均有显著的改善。

    Apr, 2017

  • GNN-encoder：通过图神经网络学习双编码器架构，用于密集通道检索

    通过引入图神经网络，提出一种 GNN-encoder 模型，以改进密集表示检索模型的效率和性能，并在三个数据集上取得最新的最优效果。

    Apr, 2022

  • 线性化图形到文本生成中的图形意识提升

    本文研究使用预训练 transformers 处理线性化的图输入，并探讨其编码局部图结构的能力和使用图去噪目标增强编码的解决方案对于在低资源环境下提高下游生成的效果。

    Dec, 2020

  • GraphFormers: 融合 GNN 和 Transformer 的文本图卷积神经网络表示学习

    本文提出了一种基于文本图的表示学习方法 GraphFormers，该方法将语言模型的 Transformer 块与图神经网络嵌套在一起，将文本编码和图聚合融合到迭代的工作流程中，从全局视角准确地理解每个节点的语义。通过在三个大规模基准数据集上的广泛评估，GraphFormers 比 SOTA 基准模型具有相当的运行效率。

    May, 2021

  • 利用图变换网络对复杂文档布局中的文本语义进行建模

    本文提出了一种基于图形表示的模型，并演示了我们不仅可以跨文档检索语义相似的信息，而且我们生成的嵌入空间也捕获了有用的语义信息，类似于仅适用于文本序列的语言模型。

    Feb, 2022

  • 文本属性图上的纯 Transformer 预训练框架

    图序列预训练框架 GSPT 利用统一的文本表示，在图领域中取得了显著的可转移性和实证成功。

    Jun, 2024

  • 面向图文生成的逐阶微调算法

    本文提出了一种带有两个阶段微调机制的结构化图文模型，结合传统的标记和位置嵌入以及新颖的树级嵌入方法，显著提高了英语 WebNLG 2017 数据集的所有文本生成指标

    May, 2021