面向时间语言模型的时间掩码技术
本研究探讨了在自然语言处理领域中理解文本的时间背景的方法，并介绍了一种新型语言模型 BiTimeBERT 2.0，该模型通过预训练在一个时间新闻文章集合上，利用三种创新的预训练目标以有效地获得时间感知的语言表示，从而在与时间相关的任务中实现改进的性能。实验结果显示，BiTimeBERT 2.0 在多种依赖时间的下游自然语言处理任务和应用中显著优于 BERT 和其他现有的预训练模型。
Jun, 2024
提出了一种基于遮蔽语言模型的新型神经网络方法用于归一化时间表达式，其在多语言情况下优于传统的基于规则的系统，并在低资源语言方面取得了高达 33 F1 的表现提升。
May, 2022
该研究提出了一种时间感知的自注意力机制 —— 时间注意力，用于任何基于变形器模型的预训练语言模型中，以捕捉上下文中的时间信息，并应用于语义变化检测任务，在三个不同语言的数据集上取得最先进的结果。
Feb, 2022
本论文提出了一种基于词汇层面 masking 的后训练策略，以此来解决大规模神经语言模型在时间通用性方面存在的问题，实验证明该方法在两个预训练语言模型、两种不同分类任务和四个基准数据集上效果优于现有的连续训练策略。
Oct, 2022
该研究探究了在预训练中引入时间信息以提高 NLP 和 IR 任务性能的方法，使用长跨度的新闻文章作为训练语料库，提出了 TimeBERT，并且 TimeBERT 在时间相关任务上表现优异，超过了 BERT 和其他预训练模型。
Apr, 2022
本文研究了在历史文献收藏品中训练语言模型时加入元数据的好处，通过对 19 世纪报纸的案例研究，扩展了 Rosin 等人 2022 年提出的时间遮蔽方法，并比较了将时间、政治和地理信息插入蒙版语言模型中的不同策略。实验证明，向语言模型展示相关元数据具有积极的影响，并可能产生更健壮、更公正的模型。通过在一系列评估任务上进行系统评估，包括伪困惑度、元数据蒙版填充和监督分类。
Nov, 2022
介绍了一个用于探讨语言模型在知识更新方面的诊断数据集，提出了一种将文本与时间戳共同建模的简单技术来改善语言模型在训练时期已知事实的记忆和对未来时间段内未知事实的预测。还展示了通过时态语境训练的语言模型可以高效 “刷新”，而无需从头开始重新训练。
Jun, 2021
该研究在 Wikidata 数据集上，评估了 11 个预训练的蒙面语言模型对时间概念漂移的影响，以确保其能够适应不断更新的现实世界的事实更新，并提供了一个综合框架来构建不同时间粒度的事实数据集，并通过多个评估角度来评估模型是否过时。
Feb, 2023
在本文中，我们介绍了一种创新的掩码方法，利用流派和主题信息来定制语言模型以适用于专业领域，该方法基于词语的重要性对其进行排名，并优先选择重要性高的词进行掩码处理，通过在法律领域进行连续预训练实验证明了我们的方法在 LegalGLUE 基准测试中的有效性，同时提供免费使用的预训练语言模型和代码。
Feb, 2024
本文基于 BERT 开发了几种 BERT-based 时间依赖句法分析器，表明 BERT 显著提高了时间依赖分析的性能。并对于深度上下文化语言模型有哪些帮助及不足进行了详细分析。
Apr, 2020