多作者写作风格检测的任务是在给定的文本文档中找出写作风格变化的位置。我们将该任务构建为一个自然语言推理问题，其中两个连续的段落成对。我们的方法侧重于段落之间的转换，并在任务中截断输入令牌。作为主干模型，我们采用了不同的基于 Transformer 的编码器，并在训练过程中引入热身阶段。在我们的实验证明中，我们提交了优于基准线和其他提出的模型版本的模型版本。对于简单和中等设置，我们提交了基于 DeBERTa 的以转换为重点的自然语言推理模型，并为困难设置提交了没有转换的相同模型。

Jul, 2023

本文研究使用分层传递学习方法进行长文本分类，通过将数据分成块，然后传递到使用双向编码器表示的预训练通用句子编码器和 BERT 的基本模型，然后使每个块的输出表示通过包括 LSTMs 或 CNNs 的浅层神经网络来分类文本数据。使用此扩展方法对 6 个基准数据集进行评估，同时与多个深度学习算法进行比较，其中 Longformer 方法在大多数数据集上始终表现良好。

Jan, 2022

本研究使用稀疏注意力机制和分层变换器方法，对基于 Transformers 的长文本分类进行比较，探讨了四个文本分类数据集，并得出了实际应用此方法的实用建议。

Apr, 2022

使用 Longformer 对社交媒体数据中的自述文本进行编码，从而发现与心理疾病的因果关系，取得了最新的 M-CAMS 数据集上的最佳结果，为分析抑郁症和自杀风险提供了有效途径。

Apr, 2023

通过对句子级别的语义分类使用深度学习方法进行评估，以加速人文学科和语言学领域的语料库构建过程，我们介绍了一个包含各种类型的句子（医学，情色等）的新型语料库，跨度从公元前 300 年到公元 900 年。我们评估了不同的句子分类方法和不同的输入嵌入层，并表明所有方法都一致优于简单的基于标记的搜索。我们探索了个体方言和社会方言的元数据嵌入（世纪，作者，文体）的整合，但发现这会导致过拟合。我们的结果表明了这种方法的有效性，使用 HAN 实现了高精度和真正阳性率（TPR）分别为 70.60％和 86.33％。我们评估了数据集大小对模型性能（2013 个句子降为 420 个句子）的影响，并证明了即使没有 MLM，我们的模型仍然具有足够高的精度和 TPR，分别为 69％和 51％。基于这个结果，我们提供了对注意力机制的分析作为对人文学者的支持附加价值，以产生更多的数据。

Sep, 2023

该论文探索了自然语言生成的一项重要任务，并通过训练 LSTM 自动编码器来实现对多句段落的保留和重构，评估结果表明神经模型能够以一种保存句法、语义和语篇连贯性的方式对文本进行编码。

Jun, 2015

提出了一种在学术文档中结构标记与分级注意网络相结合的方法，在学术文档的质量预测任务中实现了较好的结果，同时在预测引用数量方面也实现了一定的提升。

Apr, 2020

本文提出了一个新的两阶段框架（AutoTriggER），通过自动生成和利用文本中的 “实体触发器” 来改善命名实体识别的性能，从而能够创建并利用辅助监督。在三个公认的命名实体识别数据集上的实验表明，我们自动提取的触发器与人工触发器非常匹配，AutoTriggER 在平均 0.5 F1 点低的资源设置上比 RoBERTa-CRF 架构有更优的性能表现。

Sep, 2021

本篇论文综述了最新的基于 Transformer 模型的长文本建模技术，其中介绍了长文本模型的定义、如何满足输入长度限制和改进 Transformer 的架构以有效扩展最大上下文长度，以及如何适应长文本的特殊特性。并且描述了长文本建模的四个典型应用，并探讨了未来的研究方向。

Feb, 2023

通过嵌入技术减少冗余信息并使用 BERT 进行文本分类，有效提高了长文本的分类性能，同时大大降低了计算复杂度。这一研究为自然语言处理领域的研究人员和工程师提供了有价值的参考。

Jan, 2024