Jun, 2024

朝有效时间感知的语言表示：探索语言模型中增强的时间理解

PDF
TL;DR本研究探讨了在自然语言处理领域中理解文本的时间背景的方法，并介绍了一种新型语言模型 BiTimeBERT 2.0，该模型通过预训练在一个时间新闻文章集合上，利用三种创新的预训练目标以有效地获得时间感知的语言表示，从而在与时间相关的任务中实现改进的性能。实验结果显示，BiTimeBERT 2.0 在多种依赖时间的下游自然语言处理任务和应用中显著优于 BERT 和其他现有的预训练模型。
发现论文，激发创造
  • TimeBERT：用时间信息扩展预训练的语言表示

    该研究探究了在预训练中引入时间信息以提高 NLP 和 IR 任务性能的方法，使用长跨度的新闻文章作为训练语料库，提出了 TimeBERT，并且 TimeBERT 在时间相关任务上表现优异，超过了 BERT 和其他预训练模型。

    Apr, 2022

  • 面向时间语言模型的时间掩码技术

    本文介绍了一种基于时间的上下文语言模型 TempoBERT，通过添加时间信息和进行特定的时间掩码来适应语言的动态性，并在不同的数据集上进行了实验，证明利用时间掩码可以在语义变化检测和句子时间预测任务中得到好的效果。

    Oct, 2021

  • 语言模型的时间注意力

    该研究提出了一种时间感知的自注意力机制 —— 时间注意力，用于任何基于变形器模型的预训练语言模型中，以捕捉上下文中的时间信息，并应用于语义变化检测任务，在三个不同语言的数据集上取得最先进的结果。

    Feb, 2022

  • 基于时间感知的语言模型作为时态知识库

    介绍了一个用于探讨语言模型在知识更新方面的诊断数据集，提出了一种将文本与时间戳共同建模的简单技术来改善语言模型在训练时期已知事实的记忆和对未来时间段内未知事实的预测。还展示了通过时态语境训练的语言模型可以高效 “刷新”，而无需从头开始重新训练。

    Jun, 2021

  • 设定时钟：预训练语言模型的时间对齐

    通过对预训练语言模型进行时间对齐，本研究探索了将内在知识与目标时间对齐的方法，并发现对年份为 2022 的 LLaMa2 模型进行对齐可以将其性能相对提高 62%，此外，该研究还发现对历史时间进行对齐同样是可行的，可以使模型在 2010 年的性能提高 2.8 倍。

    Feb, 2024

  • 利用词汇语义变化提高预训练语言模型的时间泛化能力

    本论文提出了一种基于词汇层面 masking 的后训练策略，以此来解决大规模神经语言模型在时间通用性方面存在的问题，实验证明该方法在两个预训练语言模型、两种不同分类任务和四个基准数据集上效果优于现有的连续训练策略。

    Oct, 2022

  • 探索用于时间依存句法分析的上下文化神经语言模型

    本文基于 BERT 开发了几种 BERT-based 时间依赖句法分析器，表明 BERT 显著提高了时间依赖分析的性能。并对于深度上下文化语言模型有哪些帮助及不足进行了详细分析。

    Apr, 2020

  • 利用预训练语言模型预测文本增强时序知识图中的时间间隔

    我们提出了一种名为 TEMT 的新框架，利用预训练语言模型（PLMs）来增强文本的时间性知识图谱完成。TEMT 利用存储在 PLM 参数中的知识，能够产生丰富的事实语义表示，并且对以前未见过的实体进行推广。TEMT 将 KG 中的文本和时间信息分别处理，并将它们融合以得到事实的可信度得分。与以前的方法不同，TEMT 有效捕获不同时间点之间的依赖关系，并能对未见实体进行预测。实验结果表明，TEMT 与现有技术相媲美。

    Sep, 2023

  • 基于时间戳的语言模型：教授语言模型理解事件流

    使用时间戳编码的语言模型，将追踪实体的过程转化为问题回答问题的任务，取得了较好的结果。

    Apr, 2021

  • BERT 的时间适应和下游文档分类的性能：来自社交媒体的洞见

    本文研究了对于预训练语言模型（如 BERT），是否通过时间适应可以提高性能。结果表明，时间性适应和微调都可以提高性能，但是对于下游任务，时间性适应并不能比仅适应领域更为有效。

    Apr, 2021