本文提供了一个广泛的长文本分类的基准测试方法，包括二分类、多分类、多标签分类任务，研究发现更复杂的模型并不总是优于简单的基准模型，并且在不同数据集上表现不稳定，因此需要未来研究考虑更全面的基准模型和数据集以开发出更为稳健的模型。

Mar, 2022

本文介绍了在 NLP 领域中使用头部计算机视觉模型的性能以及使用 transformers 后的表现，探讨了这些模型在意图识别任务中的应用情况，发现造成性能差异的因素为任务的类别数量，提出了一个简单的基线模型，所有实现的模型都会被公开。

Jan, 2021

本文研究基于双向编码器表示的变换器的模型，探讨了如何使用 BERT-based 分类技术对美国最高法院案件或最高法院数据库 (SCDB) 进行分类，文章实验对 15 个分类和 279 个分类任务分别进行了比较，最好的结果分别为 80% 和 60%。

Apr, 2023

调查了 60 多个研究论文，涵盖了 2020 年至 2023 年开发的转换器在小目标检测任务上的性能，还提供了一个 12 个大规模数据集的列表以及使用常见指标（如 mAP，FPS，参数数量等）进行了性能比较。

Sep, 2023

本文提出了一种基于多模态的深度学习框架，用于短文本多类别分类，针对于极小数据集，使用了 DISTILBERT 来获取上下文敏感的动态词向量，并取得了在精度、召回率、准确率和 F1 分数上与现有最优方法相同的性能，同时模型体积更小，可以在移动设备上更快、更轻地部署。

Jun, 2022

本教程介绍了将文本数据纳入精算分类和回归任务的工作流程，重点介绍了使用基于 transformer 模型的方法。通过对一组包含 400 个单词的汽车事故的描述和一组短期财产保险索赔描述的数据集进行演示，探讨了多语言环境和长输入序列等挑战性问题，同时展示了解释模型输出、评估和改进模型性能的方法，通过在应用领域或特定预测任务上对模型进行微调，提供了实现分类任务处理的实用方法。使用仅经过最少预处理和微调的现成自然语言处理 (NLP) 模型的语言理解技巧所实现的结果，充分展示了迁移学习在实际应用中的威力。

Jun, 2022

本篇论文综述了最新的基于 Transformer 模型的长文本建模技术，其中介绍了长文本模型的定义、如何满足输入长度限制和改进 Transformer 的架构以有效扩展最大上下文长度，以及如何适应长文本的特殊特性。并且描述了长文本建模的四个典型应用，并探讨了未来的研究方向。

Feb, 2023

本研究提出了一种简化的 Switch Transformer 架构，针对小型法国临床文本分类数据集进行 scratch 训练。结果表明，简化的小型 Transformer 模型的性能优于包括 DistillBERT、CamemBERT、FlauBERT 和 FrALBERT 在内的预训练 BERT 模型。

Mar, 2023

情感分析（SA）是指将情感极性（通常为正面、负面或中性，甚至包括微妙的愤怒、悲伤等）与给定的文本相关联，基本上将其分解为一项监督分类任务。本文分析了孟加拉语中情感分析的最新技术，特别是基于 Transformer 的模型，讨论了可用的数据集及其缺点，以及在孟加拉语中应用情感分析所面临的挑战，并为未来的研究提供了解决局限性的见解。

Jan, 2024

本文主要阐述了如何将 transformers 和 self-supervised pretraining 技术应用于文本排名问题，组成了两个高级别的现代技术，即在多阶段架构中进行 reranking 的 transformer 模型和直接进行排名的密集检索技术，并对处理长文档和处理效率和效果之间的平衡这两个主题进行了分析，同时也展望了研究的未来方向。

Oct, 2020