该研究论文主要研究机器学习中的时序转变对社交媒体的影响，通过提出一种统一的评估方案，发现语言模型在不同时间设置下会出现性能下降，尤其在命名实体识别、仇恨言论检测等任务中。而在主题分类和情感分类等任务中，性能下降不明显，同时发现对测试期进行连续预训练并不能提高语言模型的时序适应能力。

May, 2024

本研究旨在通过建立多样化跨不同领域和时间段的 8 个任务套件，量化时间错位对 NLP 模型性能的影响。我们发现时间错位对任务性能的影响比先前报告的要大，结论表明仍需继续研究以提高 NLP 模型的时间强度。

Nov, 2021

研究语言科技的效能随时间的变化是非常实用的。本文研究了模型性能在下游语言任务中的时间效应，建立了相应术语，识别了进行强有力研究的关键因素，以英语为例，展示了任务的实验，发现依赖于时间的标签正确性并不会降低模型性能，但考虑时域的适应是有益的。自标记表现最佳。

Nov, 2021

该研究提出了一种测量推文潜在趋势的直观方法，用于选择最具信息价值的实例以用于训练命名实体识别的神经模型的更新，实验表明，该方法比其他方法使用更少的训练数据更能提高准确性，是一个实用的解决方案。

Apr, 2021

研究实时分析信息以快速危机响应，并利用过去灾害的已标记数据进行跨语言域适应，以训练分类器。在同一类型和相似语言的事件中，过去的标记对分类器训练有用，并且穿越语言域适应有助于不同语言（如意大利语和西班牙语），而对于不同语言（如意大利语和英语），性能会降低。

Feb, 2016

本文研究了对于预训练语言模型（如 BERT），是否通过时间适应可以提高性能。结果表明，时间性适应和微调都可以提高性能，但是对于下游任务，时间性适应并不能比仅适应领域更为有效。

Apr, 2021

研究了社交媒体的 NLU，通过动态设置来讨论模型的适应性和使用无标记数据来提高模型的鲁棒性，使用基于自动编码和伪标记的无监督领域自适应和联合框架的实验证明了动态环境对分类精度的普遍负面影响，同时表现出最佳的鲁棒性。

Oct, 2022

本文针对用户生成的社交媒体数据不断变化，现有自然语言处理系统无法适应且需要大量重新训练的问题，提出了一种基于非参数分类器的简单有效的时间适应方法，并通过预测长期 Hashtag 变化的任务进行了实验。结果表明，非参数分类器的分类效果相比最佳参数基线提高了 64.12％，而且被动删除用户数据时也表现出极高的性能。

Sep, 2022

本文介绍了 TimeLMs，这是一组针对历时推特数据的语言模型。采用持续学习策略，增强了其处理未来和分布外推特以及应对特定命名实体和概念漂移等方面的能力，使其与标准和更加单一的基准模型相竞争。

Feb, 2022

研究表明，Transformer-XL 语言模型在预测超出其训练期的未来话语时，性能会随着时间的推移而逐渐降低。基于此，提出了动态语言建模的思路，并通过不断更新知识来缓解性能退化问题。因此，应重新思考我们目前培训和评估语言模型的方法，并发展出适应我们日益变化和非稳定的世界的自适应语言模型。

Feb, 2021