本文提出了事实持续时间预测来缓解时间错位带来的影响，在实验中演示了确定容易变化的事实，可以帮助模型避免重复过时信息，同时在知识密集型任务下建模事实持续时间有助于提高校准性。

May, 2023

本文针对文本分类模型随时间推移性能下降的问题，从实用角度出发，评估了不同语言模型和分类算法的长期稳定性以及数据集特征对时间性稳定性的影响，并在三个跨度为 6 至 19 年的数据集上进行了实际分类实验。

May, 2022

通过自然语言处理和机器学习技术，我们提出一种能够在语篇层面检测金融相关新闻时态性的新系统，利用了句法和语义依赖等复杂特征，从而提取主要陈述的主导时态。实验结果表明，与一种基于规则的替代方法相比，该系统具有较高的检测精确度，最终有助于发掘金融决策的预测性知识。

Mar, 2024

研究语言科技的效能随时间的变化是非常实用的。本文研究了模型性能在下游语言任务中的时间效应，建立了相应术语，识别了进行强有力研究的关键因素，以英语为例，展示了任务的实验，发现依赖于时间的标签正确性并不会降低模型性能，但考虑时域的适应是有益的。自标记表现最佳。

Nov, 2021

该研究论文采用先进的方法解决了 LongEval CLEF 2023 Lab 任务 2：LongEval-Classification，提出了一种将时间戳包含在文本中的日期前缀文本输入预训练语言模型的框架，展示了日期前缀样本更好地加强了模型对于文本的时间上下文关系的性能，并通过对无标签数据进行自标记训练学生模型的方法进一步提高了性能。研究还使用了一种创新的数据增强策略，利用样本的日期前缀格式来增强自标记过程。该框架在 LongEval-Classification 评估集上获得了 0.6923 的总体得分，取得了第二名的排名，并且在短评估集中表现出了最好的相对性能下降 (RPD) 为 - 0.0656。

Sep, 2023

本文介绍了一种基于时间的上下文语言模型 TempoBERT，通过添加时间信息和进行特定的时间掩码来适应语言的动态性，并在不同的数据集上进行了实验，证明利用时间掩码可以在语义变化检测和句子时间预测任务中得到好的效果。

Oct, 2021

研究表明，利用时间信息可以对基于证据的事实检验的认证过程起到积极的正向影响，通过对构建共享时间轴的发布日期和时间表达式进行基础建设可以建立索赔和证据之间的时间关系，从而提供给基于循环神经网络（RNN）和转换器（Transformer）的分类器时间信息以进行认证。

Feb, 2023

介绍了一个用于探讨语言模型在知识更新方面的诊断数据集，提出了一种将文本与时间戳共同建模的简单技术来改善语言模型在训练时期已知事实的记忆和对未来时间段内未知事实的预测。还展示了通过时态语境训练的语言模型可以高效 “刷新”，而无需从头开始重新训练。

Jun, 2021

该研究论文主要研究机器学习中的时序转变对社交媒体的影响，通过提出一种统一的评估方案，发现语言模型在不同时间设置下会出现性能下降，尤其在命名实体识别、仇恨言论检测等任务中。而在主题分类和情感分类等任务中，性能下降不明显，同时发现对测试期进行连续预训练并不能提高语言模型的时序适应能力。

May, 2024

本文重点研究语言使用的时空变化对 NLP 系统的影响，尤其是在社交媒体、自然灾害和人为灾害等危机事件中，短时间内词的使用频率和含义可能会发生快速变化，为此，作者提出了一种基于领域自适应的时态适应方法，通过实验证明了该方法的有效性和适用性，同时也指出目前研究方法存在的局限性。

Apr, 2021