使用掩码语言模型进行多语言时态词语归一化
本文提出一种模块化的多语言时间处理系统，结合了微调的遮蔽语言模型和基于语法的规范化器，实验在西班牙语和英语中并与 HeidelTime 进行比较，获得了最佳结果的金标准 timex 标准化、timex 检测和类型识别，并在组合 TempEval-3 松弛值度量中具有竞争性的表现。
Apr, 2023
使用大型语言模型和上下文学习，通过样本选择策略实现时间表达归一化，取得了与此任务相关模型相媲美的竞争性结果，并在非标准设置中通过动态包含相关示例在推断过程中实现大幅度的性能改进。
Apr, 2024
本文介绍了一种基于时间的上下文语言模型 TempoBERT，通过添加时间信息和进行特定的时间掩码来适应语言的动态性，并在不同的数据集上进行了实验，证明利用时间掩码可以在语义变化检测和句子时间预测任务中得到好的效果。
Oct, 2021
本论文探讨了跨语言多领域的时间表达抽取方法，并通过对抗训练来将嵌入空间对齐到一个公共空间，从而创建了一个单一的跨语言模型，我们在跨语言迁移实验中取得了最新的成果。
May, 2020
本论文提出了一种基于词汇层面 masking 的后训练策略，以此来解决大规模神经语言模型在时间通用性方面存在的问题，实验证明该方法在两个预训练语言模型、两种不同分类任务和四个基准数据集上效果优于现有的连续训练策略。
Oct, 2022
本研究探讨了在自然语言处理领域中理解文本的时间背景的方法，并介绍了一种新型语言模型 BiTimeBERT 2.0，该模型通过预训练在一个时间新闻文章集合上，利用三种创新的预训练目标以有效地获得时间感知的语言表示，从而在与时间相关的任务中实现改进的性能。实验结果显示，BiTimeBERT 2.0 在多种依赖时间的下游自然语言处理任务和应用中显著优于 BERT 和其他现有的预训练模型。
Jun, 2024
本文描述了一种多语言评估数据集 - NTX，该数据集涵盖了 14 种语言中的不同时间和数字表达式，覆盖了提取、规范化和解析，并提供了一种强大的基线对比其他模型在此数据集中的评估。
Mar, 2023
XLTime 使用预训练语言模型和多任务学习，在英语和非英语语言之间促进跨语言知识转移，以减轻目标语言数据短缺引起的问题，在法语、西班牙语、葡萄牙语和巴斯克语等语言上表现优于先前的自动 SOTA 方法，并且显著缩小了手工制作的 HeidelTime 方法的差距。
May, 2022
本研究通过探索不同时间阶段掩码策略方式，发现固定掩码比率和掩码内容是无法实现最佳效果的。因此，提出了两种自适应掩码策略，通过不同的训练阶段来调整掩码比率和掩码内容以提高模型的性能，并在下游任务中进行验证。该研究的工作是关于时间相关掩码策略对预训练模型的影响的开拓性研究，让掩码比率和掩码内容如何影响 MLM 预训练得到了更好的理解。
Aug, 2022
本文研究在跨模态预训练中使用遮蔽语言建模（Masked Language Modeling，简称 MLM）的一些问题，提出了一些针对这些问题的替代遮蔽策略，在 LXMERT 模型预训练时，我们的替代策略始终优于原始遮蔽策略，特别是在低资源设置下，我们的预训练方法显著优于基准模型，并且通过对影像对象的特定标记任务的评估，我们的结果和分析表明，该方法允许更好地利用训练数据。
Sep, 2021