本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

Oct, 2021

本教程介绍了将文本数据纳入精算分类和回归任务的工作流程，重点介绍了使用基于 transformer 模型的方法。通过对一组包含 400 个单词的汽车事故的描述和一组短期财产保险索赔描述的数据集进行演示，探讨了多语言环境和长输入序列等挑战性问题，同时展示了解释模型输出、评估和改进模型性能的方法，通过在应用领域或特定预测任务上对模型进行微调，提供了实现分类任务处理的实用方法。使用仅经过最少预处理和微调的现成自然语言处理 (NLP) 模型的语言理解技巧所实现的结果，充分展示了迁移学习在实际应用中的威力。

Jun, 2022

本文研究使用 Transformer 模型与数据增强技术解决自动评分的问题，通过实验证明其有效性。

Oct, 2022

本文提出一种使用 OpenAI 最新的基于 Transformer 的语言模型 GPT-3 生成阅读文章的方法，并通过人工编辑和人工评估保证生成的文章的准确性和易读性。

Apr, 2023

本文通过对三种基于 Transformer 的模型（RoBERTa，XLNet 和 BERT）在自然语言推断（NLI）和问答（QA）任务中的评估研究，发现这些模型在脆弱性测试中表现比循环神经网络模型更鲁棒，但仍具有各种意外行为，展示了在这个领域仍有改进的空间

Feb, 2020

本文介绍了两个优化可读性评估的方法：1. 引入三个新的高级语义特征 2. 明确传统的 ML 模型（如随机森林）可以与 transformers（如 RoBERTa）结合来提高模型性能，通过使用自行开发的特征提取软件提取 255 个特征并构建了几个混合模型，在流行的可读性评估数据集上实现了最先进的准确性。其中手工制作的特征有助于提高小型数据集的模型性能。值得注意的是，我们的 RoBERTA-RF-T1 混合模型实现了近乎完美的 99％分类精度，比之前最先进的模型提高了 20.3％。

Sep, 2021

自然语言处理、人工智能、AI 检测模型、BERT 架构和 AI 生成文本识别是该研究的五个关键词。

Apr, 2024

利用长短期记忆神经网络和交互设备，通过生成文本来辅助英语学习者的自学过程。通过英语水平测试，初步结果显示与系统互动的学习者的语法范围有所增加。

Sep, 2023

本文提出一种基于心理度量学中的项目反应理论（IRT）的替代手段，用于生成金标准测试集和 NLP 系统的评估，通过实验证明 IRT 方法能提供更为全面的系统性能评估，并能更好地说明系统性能。

May, 2016

本研究得出结论，Transformer-based language models 可以在模拟语言理解任务中预测人类心理测量数据，这为心理测量学家节省了多轮实验测试的必要性。

May, 2022