设定时钟：预训练语言模型的时间对齐

Feb, 2024

设定时钟：预训练语言模型的时间对齐

Set the Clock: Temporal Alignment of Pretrained Language Models

Bowen Zhao, Zander Brumbaugh, Yizhong Wang, Hannaneh Hajishirzi, Noah A. Smith

TL;DR通过对预训练语言模型进行时间对齐，本研究探索了将内在知识与目标时间对齐的方法，并发现对年份为 2022 的 LLaMa2 模型进行对齐可以将其性能相对提高 62%，此外，该研究还发现对历史时间进行对齐同样是可行的，可以使模型在 2010 年的性能提高 2.8 倍。

Abstract

language models (LMs) are trained on web text originating from many points in time and, in general, without any explicit temporal grounding. This work investigates the temporal chaos of pretrained lms and explore

language models temporal alignment pretrained lms knowledge organization finetuning

发现论文，激发创造

基于时间感知的语言模型作为时态知识库

介绍了一个用于探讨语言模型在知识更新方面的诊断数据集，提出了一种将文本与时间戳共同建模的简单技术来改善语言模型在训练时期已知事实的记忆和对未来时间段内未知事实的预测。还展示了通过时态语境训练的语言模型可以高效 “刷新”，而无需从头开始重新训练。

Jun, 2021

时间不等人！时间错位分析与挑战

本研究旨在通过建立多样化跨不同领域和时间段的 8 个任务套件，量化时间错位对 NLP 模型性能的影响。我们发现时间错位对任务性能的影响比先前报告的要大，结论表明仍需继续研究以提高 NLP 模型的时间强度。

Nov, 2021

朝有效时间感知的语言表示：探索语言模型中增强的时间理解

本研究探讨了在自然语言处理领域中理解文本的时间背景的方法，并介绍了一种新型语言模型 BiTimeBERT 2.0，该模型通过预训练在一个时间新闻文章集合上，利用三种创新的预训练目标以有效地获得时间感知的语言表示，从而在与时间相关的任务中实现改进的性能。实验结果显示，BiTimeBERT 2.0 在多种依赖时间的下游自然语言处理任务和应用中显著优于 BERT 和其他现有的预训练模型。

Jun, 2024

通过跨模态知识蒸馏来驯服预训练 LLMs 进行广义时间序列预测

利用大型语言模型和时间序列对齐框架，进行多元时间序列预测，同时充分发挥语言模型的潜力，建立了长期和短期预测的新的最先进方法。

Mar, 2024

大型语言模型中的时间盲点

该研究旨在调查通用型大型语言模型在需要时间理解的任务中面临的潜在限制，针对三个流行的时间问答数据集，我们发现大型语言模型在关于过去和新信息的详细问题上表现较差，存在多个时间错误，我们的分析有助于理解大型语言模型的局限性，并为开发更好满足时间导向任务需求的未来模型提供有价值的见解。

Jan, 2024

利用词汇语义变化提高预训练语言模型的时间泛化能力

本论文提出了一种基于词汇层面 masking 的后训练策略，以此来解决大规模神经语言模型在时间通用性方面存在的问题，实验证明该方法在两个预训练语言模型、两种不同分类任务和四个基准数据集上效果优于现有的连续训练策略。

Oct, 2022

您的 LLM 已过时吗？时间敏感知识的 LLM 与对齐算法的基准测试

将大规模语言模型作为知识库，我们研究了其随时间推移保持事实知识的适当性。我们设计了一个动态基准来识别过时的知识，并通过实时从 Wikidata 检索的时间敏感领域政治、体育和组织的信息评估了 18 种开源和闭源的最先进大规模语言模型。我们评估了知识编辑方法与检索增强生成在与最新事实知识对齐方面的效果，并通过共享代码、数据集以及评估和可视化脚本将这个动态基准用于评估大规模语言模型的及时性，并可扩展至其他领域。

Apr, 2024

大型语言模型是否具有时间性基础？

大型语言模型在时间上没有实质依据，缺乏自洽性并且表现出不一致的行为性。

Nov, 2023

TemporalWiki：面向训练与评估不断进化语言模型的终身基准

通过使用连续快照之间的差异作为训练和评估数据，我们介绍了一个终身学习基准测试 ——TemporalWiki，旨在评估语言模型在频繁更新的知识库，如维基百科，中获取和保留知识的能力，并发现通过继续学习方法使用 diff 数据进行训练可以通过少量的训练数据安全地更新 LM 中的事实知识。

Apr, 2022

研究大型语言模型的文化一致性

通过调查人类社会学的实际问卷与模型响应的对比，我们的研究发现，大型语言模型 (LLMs) 在两个维度上表现出更高的文化一致性，即当以特定文化的主要语言作为提示时，以及当使用该文化所采用的多语言精炼混合体系进行预训练时，对于模拟调查的不同人物与敏感社会议题，模型的文化一致性更加重要。最后，我们引入了人类学提示的创新方法，利用人类学推理增强文化一致性。我们的研究强调了更平衡的多语言预训练数据集对于更好地代表人类经验多样性和不同文化的复数性，对于跨语言传递的影响的必要性。

Feb, 2024