本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

Oct, 2021

在这项工作中，我们通过实证研究了社区问答论坛的几个方面，包括引入一种基于 BERT 的特征捕捉问题和答案的语义相似性、使用线性方式结合问题和答案特征、以及在 CQA 领域中采用迄今为止未使用过的排序学习算法等。在三个标准 CQA 数据集上，我们的提出的框架实现了最领先的性能，并分析了我们使用的特征的重要性。这项工作有望指导实践者在 CQA 检索任务中选择更好的特征集。

Sep, 2023

通过比较传统机器学习模型使用特征工程和词向量与最先进的语言模型 BERT 使用词向量在三个数据集上的表现，并考虑特征工程与 BERT 的时间和成本效益。研究证明，在三个数据集中，BERT 模型只有在其中一个数据集上胜于传统的特征向量分类器，使用 BERT 模型可以获得 0.03 和 0.05 的准确度和 F1 分数的提高，其中 BERT 模型表现显着优于传统分类器。因此，在该数据集上使用 BERT 模型值得花费时间和成本，而在其他数据集上则不值得。

Oct, 2022

本文中，我们展示了数据处理、预训练任务、神经网络建模或微调的方法如何单独影响性能，以及当这些方法共同考虑预训练模型时，语言模型在特定的问答任务上表现出最佳结果；具体地，我们提出了一种扩展的预训练任务和一种新的邻居感知机制，能更多地关注邻近的标记，从而捕捉预训练语言建模的上下文丰富性。我们的最佳模型在 SQuAD 1.1 上实现了 95.7％的 F1 和 90.6％的 EM，也在 SQuAD 2.0 基准上超过了现有的预训练语言模型，如 RoBERTa，ALBERT，ELECTRA 和 XLNet。

Mar, 2022

本文介绍了两个优化可读性评估的方法：1. 引入三个新的高级语义特征 2. 明确传统的 ML 模型（如随机森林）可以与 transformers（如 RoBERTa）结合来提高模型性能，通过使用自行开发的特征提取软件提取 255 个特征并构建了几个混合模型，在流行的可读性评估数据集上实现了最先进的准确性。其中手工制作的特征有助于提高小型数据集的模型性能。值得注意的是，我们的 RoBERTA-RF-T1 混合模型实现了近乎完美的 99％分类精度，比之前最先进的模型提高了 20.3％。

Sep, 2021

本文中，我们提出了一种模型架构，该模型利用了 BERT 的上下文感知词嵌入和 BiDAF 的上下文交互探索机制，试图在单词和字符级别上提取上下文词表示以更好地理解问题和上下文及其相关性，并提出了我们的原创联合后验概率预测模块及其相关损失函数。我们的最佳模型在测试 PCE 排行榜上获得了 75.842％的 F1 分数和 72.24％的 EM 分数。

Apr, 2019

提出了一种改进的语言表示模型 Semantics-aware BERT，通过集成来自预训练语义角色标注的显式上下文语义，从而在十项阅读理解和语言推理任务中获得了新的最先进或实质性改进的结果，以促进自然语言理解。

Sep, 2019

介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

Oct, 2018

研究了在英文大规模数据集中预训练的多语言 BERT Fine-Tuning 在保加利亚语阅读理解中的效果，构建了一个新的包含历史、生物、地理和哲学等学科的 12 年级毕业考试和 412 个在线历史测验问题的数据集，并利用不同的索引和预训练策略进行实验，评估结果表明，准确率为 42.23％，大大超过了基线水平 24.89％。

Aug, 2019

本文介绍了一种利用在场 BERT 调整的方法来解决在多问题共享阅读材料的阅读理解测试中的自动评分问题，并证明了这种方法的有效性。

May, 2022