本论文提出了一种基于词汇层面 masking 的后训练策略，以此来解决大规模神经语言模型在时间通用性方面存在的问题，实验证明该方法在两个预训练语言模型、两种不同分类任务和四个基准数据集上效果优于现有的连续训练策略。

Oct, 2022

通过量化和刻度将时间序列值进行标记化，采用交叉熵损失训练基于 T5 家族的预训练 Chronos 模型，通过在 42 个数据集上的综合性性能评估，表明 Chronos 模型在训练集中的数据上表现明显优于其他方法，在新数据集上具有可比乃至稍优的零样本性能，从而使预训练模型成为大大简化预测流程的可行工具。

Mar, 2024

本文针对文本分类模型随时间推移性能下降的问题，从实用角度出发，评估了不同语言模型和分类算法的长期稳定性以及数据集特征对时间性稳定性的影响，并在三个跨度为 6 至 19 年的数据集上进行了实际分类实验。

May, 2022

该研究论文主要研究机器学习中的时序转变对社交媒体的影响，通过提出一种统一的评估方案，发现语言模型在不同时间设置下会出现性能下降，尤其在命名实体识别、仇恨言论检测等任务中。而在主题分类和情感分类等任务中，性能下降不明显，同时发现对测试期进行连续预训练并不能提高语言模型的时序适应能力。

May, 2024

通过使用预训练语言模型，本研究提出了 InstructTime，将时间序列分类重塑为学习生成范式，并将任务特定指令和原始时间序列作为多模态输入，通过文本表示标签信息，实现了在时间序列分类中的卓越性能和通用基础模型的潜力。

Mar, 2024

该研究在法律领域考虑了大规模多标签文本分类，提出了一个适用于 LMTC、few - 和 zero-shot 学习的新数据集 EURLEX，共包含 57k 个法律文档，注释有～4.3k 个 EUROVOC 标签；实验表明，具有标签注意力的 BIGRU 模型优于当前其他最先进的模型；领域特定的 WORD2VEC 和上下文敏感的 ELMO 嵌入进一步提高了性能；研究人员还发现，只考虑文档中的特定区域就足够了，这使得我们可以规避 BERT 的最大文本长度限制，并使用 fine-tune BERT 在所有情况下获得了最佳结果。

Jun, 2019

本文讨论在法律领域中进行的极端多标签文本分类（XMTC）任务，并发布了一个新的数据集，其中包含 57k 份来自欧洲公共文档数据库 EURLEX 的立法文件，注释了来自多学科词库 EUROVOC 的概念。本文实验了几种神经分类器，表明采用 self-attention 的 BIGRUs 优于目前使用基于标签的注意力的多标签最先进方法。用 BIGRUs 替换 CNN 在基于标签的注意力网络中，从而获得了最佳的整体性能。

May, 2019

该研究论文采用先进的方法解决了 LongEval CLEF 2023 Lab 任务 2：LongEval-Classification，提出了一种将时间戳包含在文本中的日期前缀文本输入预训练语言模型的框架，展示了日期前缀样本更好地加强了模型对于文本的时间上下文关系的性能，并通过对无标签数据进行自标记训练学生模型的方法进一步提高了性能。研究还使用了一种创新的数据增强策略，利用样本的日期前缀格式来增强自标记过程。该框架在 LongEval-Classification 评估集上获得了 0.6923 的总体得分，取得了第二名的排名，并且在短评估集中表现出了最好的相对性能下降 (RPD) 为 - 0.0656。

Sep, 2023

研究了一种新的 NLP 任务：增量少样本文本分类，挑战是系统需要在不重新训练之前的类别示例的情况下轮换增量学习新类别，并在新类别下表现良好，同时不影响之前类别的分类，并在此基础上，提出了两种蕴含方法来解决这个问题，并公开了两个基准数据集。

Apr, 2021

研究表明，Transformer-XL 语言模型在预测超出其训练期的未来话语时，性能会随着时间的推移而逐渐降低。基于此，提出了动态语言建模的思路，并通过不断更新知识来缓解性能退化问题。因此，应重新思考我们目前培训和评估语言模型的方法，并发展出适应我们日益变化和非稳定的世界的自适应语言模型。

Feb, 2021