May, 2019

BERTSel：基于预训练模型的答案选择

PDF
TL;DR使用预训练模型 BERT 进行微调以提高答案选择任务的性能并在五个数据集上获得 STOA 结果
发现论文，激发创造
  • 利用 Transformer 的双向编码表示进行答案选择

    本文探讨了在大规模数据集上对 transformer 模型进行语言模型的预训练，并在 QA 和 CQA 数据集上微调 BERT 模型进行答案选择任务，在 QA 数据集中观察到了最大 13.1% 的提升，在 CQA 数据集中观察到了最大 18.7% 的提升。

    Nov, 2020

  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • 问题回答的跨度选择预训练

    本篇论文提出了一种新的预训练模型 SSPT，即 Span Selection Pre-Training，通过将预训练模型任务转换为阅读理解，从而提高 BERT 及其他预训练模型的学习能力，实验证明该方法对于数据集有限的场景下表现尤为出色。

    Sep, 2019

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • 生物医学问答预训练语言模型

    本文研究 BioBERT（一种预训练的生物医学语言模型）在回答生物医学问题方面的性能，结果表明使用适当的前 / 后处理策略可以获得最佳性能。

    Sep, 2019

  • 预训练变压器在知识图谱上进行简单问答

    本研究通过对知识图谱建立的基于神经网络（包括 BERT 和 BiLSTM）的简单问题回答模型进行评估，探究在数据稀疏的情况下 BERT 模型的表现。

    Jan, 2020

  • ANNA: 增强语言表达能力用于问答

    本文中，我们展示了数据处理、预训练任务、神经网络建模或微调的方法如何单独影响性能，以及当这些方法共同考虑预训练模型时，语言模型在特定的问答任务上表现出最佳结果；具体地，我们提出了一种扩展的预训练任务和一种新的邻居感知机制，能更多地关注邻近的标记，从而捕捉预训练语言建模的上下文丰富性。我们的最佳模型在 SQuAD 1.1 上实现了 95.7％的 F1 和 90.6％的 EM，也在 SQuAD 2.0 基准上超过了现有的预训练语言模型，如 RoBERTa，ALBERT，ELECTRA 和 XLNet。

    Mar, 2022

  • 利用预训练和大型语言模型提升社区问答中的答案选择

    本文提出了使用预训练模型的 Question-Answer 交叉注意网络（QAN）进行回答选择，并利用大型语言模型（LLM）来进行具有知识增强的回答选择。实验证明，QAN 模型在 SemEval2015 和 SemEval2017 数据集上实现了最新的性能。同时，LLM 利用外部知识进行问题和正确答案的知识增强，并通过不同方面对 LLM 的提示进行优化，结果表明外部知识的引入可以提高 LLM 在 SemEval2015 和 SemEval2017 数据集上的正确答案选择率，同时通过优化提示，LLM 也能在更多问题上选择正确的答案。

    Nov, 2023

  • 答案句子选择的深度学习

    通过分布式表征学习语义编码，我们提出了一种新方法，用于解决回答句子选择的任务，该方法不需要任何特征工程或专业语言数据，可轻松适用于各种领域和语言，并在 TREC 标准基准数据集上达到了与最先进的性能相当的结果。

    Dec, 2014

  • 让人沮丧地简单的自然问答

    文章研究了问题回答领域（Question Answering）中各种算法模型以及增强数据方法，提出了基于 Attention-over-Attention 等方法的组合以及数据增强和集成策略，可在 SQuAD 等基准数据集上取得超人的表现。但在最新的自然问题基准数据集上，相对简单的 BERT 迁移学习方法取得了超过先前表现最优系统 1.9 F1 点的优异表现，并且添加集成策略进一步提高了 2.3 F1 点。

    Sep, 2019