利用 Transformer 的双向编码表示进行答案选择

MMNov, 2020

利用 Transformer 的双向编码表示进行答案选择

Utilizing Bidirectional Encoder Representations from Transformers for Answer Selection

Md Tahmid Rahman Laskar, Enamul Hoque, Jimmy Xiangji Huang

TL;DR本文探讨了在大规模数据集上对 transformer 模型进行语言模型的预训练，并在 QA 和 CQA 数据集上微调 BERT 模型进行答案选择任务，在 QA 数据集中观察到了最大 13.1% 的提升，在 CQA 数据集中观察到了最大 18.7% 的提升。

Abstract

pre-training a transformer-based model for the language modeling task in a large dataset and then fine-tuning it for downstream tasks has

pre-training transformer-based model language modeling answer selection task bert

发现论文，激发创造

基于 Transformer 的语言模型在抽取式问答中的比较研究

本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

Oct, 2021

BERTSel：基于预训练模型的答案选择

使用预训练模型 BERT 进行微调以提高答案选择任务的性能并在五个数据集上获得 STOA 结果

May, 2019

BERT: 深度双向变换器的预训练用于语言理解

介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

Oct, 2018

基于 Transformer 的细调编码器在土耳其语言理解任务中的应用

我们在这项研究中，为土耳其语提供了基于 Transformer 模型的 BERTurk 模型，并进行了多个下游任务的微调和评估，包括命名实体识别、情感分析、问题回答和文本分类。与其他基线方法相比，我们的研究在土耳其语中显著提高了性能，并公开发布了这四个微调模型和资源，以支持其他土耳其研究人员和应用。

Jan, 2024

ANNA: 增强语言表达能力用于问答

本文中，我们展示了数据处理、预训练任务、神经网络建模或微调的方法如何单独影响性能，以及当这些方法共同考虑预训练模型时，语言模型在特定的问答任务上表现出最佳结果；具体地，我们提出了一种扩展的预训练任务和一种新的邻居感知机制，能更多地关注邻近的标记，从而捕捉预训练语言建模的上下文丰富性。我们的最佳模型在 SQuAD 1.1 上实现了 95.7％的 F1 和 90.6％的 EM，也在 SQuAD 2.0 基准上超过了现有的预训练语言模型，如 RoBERTa，ALBERT，ELECTRA 和 XLNet。

Mar, 2022

利用预训练和大型语言模型提升社区问答中的答案选择

本文提出了使用预训练模型的 Question-Answer 交叉注意网络（QAN）进行回答选择，并利用大型语言模型（LLM）来进行具有知识增强的回答选择。实验证明，QAN 模型在 SemEval2015 和 SemEval2017 数据集上实现了最新的性能。同时，LLM 利用外部知识进行问题和正确答案的知识增强，并通过不同方面对 LLM 的提示进行优化，结果表明外部知识的引入可以提高 LLM 在 SemEval2015 和 SemEval2017 数据集上的正确答案选择率，同时通过优化提示，LLM 也能在更多问题上选择正确的答案。

Nov, 2023

如何为文本分类微调 BERT?

研究 BERT 语言模型在文本分类任务上的微调方法，提供一般的解决方案，并在 8 个广泛研究的文本分类数据集上取得了最新的最好结果。

May, 2019

MuCoT: 低资源语言中的多语言对比训练问答

本文提出一种用于低资源语言的提高问答技术的方法，即通过翻译和转写将问题回答样本扩充到目标语言，利用增广数据微调已经在英语中预训练的 mBERT 问答模型，并引入对翻译问题上下文特征对之间的对比损失来提高不同语言家族的翻译准确性。

Apr, 2022

预训练变压器在知识图谱上进行简单问答

本研究通过对知识图谱建立的基于神经网络（包括 BERT 和 BiLSTM）的简单问题回答模型进行评估，探究在数据稀疏的情况下 BERT 模型的表现。

Jan, 2020

BERT 是如何回答问题的：对 Transformer 表示进行逐层分析

我们对 BERT 的隐藏状态进行逐层分析，揭示了这些状态所包含的有价值的信息，包括 QA 任务 fine-tuned 的模型如何转换令牌向量以找到正确的答案。通过应用一组用于揭示每个表示层中存储信息的一般和 QA 特定探测任务，我们的分析显示 BERT 的转换经历了与传统 pipeline 任务相关的阶段，且细微调整对模型的语意能力影响不大，即使在早期层也可以识别出预测错误。

Sep, 2019