Apr, 2022

具有句法信息的异构图变换器问答

PDF
TL;DR本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。
neural language modelsquestion answeringlinguistics informationtransformer-based neural language modelsyntactic information
发现论文，激发创造
  • 大型语言模型与知识图谱相遇：回答事实性问题

    提出一种使用知识图谱扩展预训练文本到文本语言模型的方法，通过从知识图谱中提取子图，使用基于 Transformer 的模型线性化提取的子图并重新对答案候选项进行排序，使得预训练文本到文本语言模型的 Hits@1 评分提升 4-6%。

    Oct, 2023

  • 评估大型语言模型用于知识图谱上的语义解析对话问答

    评估了没有在此任务上进行明确预训练的大型语言模型的性能，并通过一系列实验在广泛的基准数据集上比较了具有不同提示技术和不同大小的模型，并确定了生成输出中的常见问题类型。结果表明，大型语言模型能够从对话中生成图查询，并通过少样本提示和微调技术实现显著提升，特别是对于展现较低零样本性能的较小模型。

    Jan, 2024

  • 用于机器翻译和自然语言理解的语法注入 Transformer 和 BERT 模型

    本论文研究了通过将句法信息与深度学习模型相结合，提高自然语言处理任务的性能表现，对多特征的语法 - Transformer 进行了测试，发现在完整数据集和部分数据集中，BLEU 得分都有明显提升，同时，在 GLUE 基准测试中，语法嵌入的 BERT 微调在几个下游任务中表现优于基线。

    Nov, 2019

  • 结合预训练语言模型和结构化知识

    本文调查了将结构化知识集成到现有的语言模型中的各种方法，并确定了挑战和可能的机会，发现利用基于适配器的注入仍有机会，并且可能将多种探索过的方法进一步结合成一个系统。

    Jan, 2021

  • 将时间图融合至 Transformer 以用于时间敏感问答

    通过应用现有的时间信息提取系统构建事件、时间和时间关系的时间图，然后研究将这些图融入 Transformer 模型的不同方法，实验结果表明，我们提出的融合时间图的方法显著提高了 Transformer 模型的时间推理能力，在不进行微调的情况下，我们的方法优于各种基于图卷积的方法，在 SituatedQA 和 TimeQA 的三个分割上取得了新的最佳性能。

    Oct, 2023

  • 语法增强的预训练模型

    文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

    Dec, 2020

  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • 预训练变压器在知识图谱上进行简单问答

    本研究通过对知识图谱建立的基于神经网络（包括 BERT 和 BiLSTM）的简单问题回答模型进行评估，探究在数据稀疏的情况下 BERT 模型的表现。

    Jan, 2020

  • 多模态问答的多模态图形转换器

    本文提出一种多模态图变换器，它利用了文本和视觉数据的多模态信息，并通过结构化学习和图神经网络的方法对自注意力进行约束以提高推理能力，适用于需要跨多个模态执行推理的问题回答任务。我们通过在 GQA，VQAv2 和 MultiModalQA 数据集上进行实验来验证这种方法的有效性，表明多模态图变换器优于 Transformer 模型基线。

    Apr, 2023

  • 面向知识图谱的对话问答的结构化上下文和高覆盖率语法

    使用神经语义分析方法解决大型知识图库上的弱监督会话问答问题，引入了一种新的逻辑形式语法并使用基于 transformer 的模型将 JSON 输入转换为嵌入列表，最后在两个基于 Wikidata 的数据集上验证了该方法。

    Sep, 2021