本研究使用 BERT 进行文档分类，并展示出其在四个流行数据集上的最新成果。为了解决 BERT 推理的计算开销，研究者提出使用知识蒸馏技术，将 BERT 的知识转移到小型双向 LSTM 中，并使用 30 倍更少的参数达到了 BERT-base 相当的性能。该研究的主要贡献在于提高了基线水平，为未来的工作提供了基础。

Apr, 2019

本文通过对多种文本来源进行广泛评估以及通过构建新的对抗性测试集合，试图评估目前三种最先进的命名实体识别模型。在评估中，我们呈现了一些有用的报告实践方法，以便于提高当前模型性能的理解和提高未来研究的效率。

Apr, 2022

本文探讨了短文本分类方法，发现传统文本分类方法中使用 Transformer 能实现最先进的性能，在真实世界的短文本数据集上进行了测试。实验结果表明，是否有必要使用特殊的短文本技术是一个值得探讨的问题。

Nov, 2022

使用基于 Transformer 的 DeBERTa 模型将分类问题转化为蕴含问题，使得排名最高的文档可以被视为正分类文档，从而缩短信息抽取过程中的阅读时间，并发现一定的召回率下，使用声明性形式的类别标签作为查询可以优于使用字典定义的类别标签。同时研究表明，随着主题范围的扩大，应阅读的文档百分比会增加。

Oct, 2022

本文研究表明，SOTA 句子转换器具有强烈的从属名词集偏差，这种偏差是在词汇和语法结构预定义的条件下得出的。此外，该研究还发现，成对句子之间的余弦相似度更受其名词成分集的重叠程度影响，而对于其他更精细的句法语义成分则不那么敏感。

Jan, 2023

该研究介绍了如何通过引入基于循环层或其他 Transformer 的单输出层对长文本进行 BERT 模型的微调，成功将其应用于客户电话满意度预测和话题分类任务中，并在两个任务中取得了显著的改进。

Oct, 2019

该研究使用预训练语言模型和约束解码技术，通过重新排序和重新解析的方式来改进 Text-to-SQL 任务的查询准确性，最终在任务中达到了最高准确率，并提出了查询计划生成方案的启发式模式。

Oct, 2022

本研究使用多种自然语言处理模型进行司法文书的预测和摘要，最终得出六种基于自我注意力的转换器模型在四种激活函数下的对比分析结果，准确率高达 99%。

Apr, 2023

本文提出使用基于 Transformer 的多代理系统来模拟美国最高法院 2010-2016 年的裁决，并使用九个分别由每个最高法官编写的意见所训练的模型，在 96 个真实案例上测试结果，发现我们的系统以比随机更好的准确度预测了真实最高法院的决定，同时发现与个人司法对齐和法律保守主义与自由主义之间的关联。本文方法和结果对使用语言模型模拟政治话语的研究人员具有重要意义。

Jan, 2023

本文介绍了在 NLP 领域中使用头部计算机视觉模型的性能以及使用 transformers 后的表现，探讨了这些模型在意图识别任务中的应用情况，发现造成性能差异的因素为任务的类别数量，提出了一个简单的基线模型，所有实现的模型都会被公开。

Jan, 2021