Jan, 2020

预训练变压器在知识图谱上进行简单问答

PDF
TL;DR本研究通过对知识图谱建立的基于神经网络（包括 BERT 和 BiLSTM）的简单问题回答模型进行评估，探究在数据稀疏的情况下 BERT 模型的表现。
knowledge graphquestion answeringneural networkbertdatasparse
发现论文，激发创造
  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • BERTSel：基于预训练模型的答案选择

    使用预训练模型 BERT 进行微调以提高答案选择任务的性能并在五个数据集上获得 STOA 结果

    May, 2019

  • 利用 Transformer 的双向编码表示进行答案选择

    本文探讨了在大规模数据集上对 transformer 模型进行语言模型的预训练，并在 QA 和 CQA 数据集上微调 BERT 模型进行答案选择任务，在 QA 数据集中观察到了最大 13.1% 的提升，在 CQA 数据集中观察到了最大 18.7% 的提升。

    Nov, 2020

  • 具有句法信息的异构图变换器问答

    本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。

    Apr, 2022

  • 预训练语言模型在简单知识图谱问答中的实证研究

    本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

    Mar, 2023

  • 基于知识图谱的简单问题回答：基础模型与神经网络模型的效果对比

    通过将问题回答问题的问题分解为实体检测，实体链接，关系预测和证据组合，我们使用一些启发式算法，探索了一些简单而强大的基线模型，其中基本的 LSTM 和 GRU 加上一些启发式算法得到的准确率接近最新技术水平。这些结果表明，文献中提出的复杂深度学习技术带来的收益相当有限，并且一些先前的模型表现出了不必要的复杂性。

    Dec, 2017

  • 让人沮丧地简单的自然问答

    文章研究了问题回答领域（Question Answering）中各种算法模型以及增强数据方法，提出了基于 Attention-over-Attention 等方法的组合以及数据增强和集成策略，可在 SQuAD 等基准数据集上取得超人的表现。但在最新的自然问题基准数据集上，相对简单的 BERT 迁移学习方法取得了超过先前表现最优系统 1.9 F1 点的优异表现，并且添加集成策略进一步提高了 2.3 F1 点。

    Sep, 2019

  • 大型语言模型与知识图谱相遇：回答事实性问题

    提出一种使用知识图谱扩展预训练文本到文本语言模型的方法，通过从知识图谱中提取子图，使用基于 Transformer 的模型线性化提取的子图并重新对答案候选项进行排序，使得预训练文本到文本语言模型的 Hits@1 评分提升 4-6%。

    Oct, 2023

  • 生物医学问答预训练语言模型

    本文研究 BioBERT（一种预训练的生物医学语言模型）在回答生物医学问题方面的性能，结果表明使用适当的前 / 后处理策略可以获得最佳性能。

    Sep, 2019

  • 小语料下 LSTM 和 BERT 的对比

    本文利用小型数据集对比了双向 LSTM 模型和预训练 BERT 模型的表现，结果表明对于小数据集，使用双向 LSTM 模型的性能显著优于使用 BERT 模型，且训练时间更短，因此在选择模型时需要考虑任务和数据等因素。

    Sep, 2020