抓住时机：关于终身语言模型中世界知识评估的研究

Nov, 2023

抓住时机：关于终身语言模型中世界知识评估的研究

Carpe Diem: On the Evaluation of World Knowledge in Lifelong Language Models

Yujin Kim, Jaehong Yoon, Seonghyeon Ye, Sung Ju Hwang, Se-young Yun

TL;DR为了解决语言模型在知识不断演进的情况下需要获取新知识并更新旧知识的问题，我们引入了一个新颖的基准测试，EvolvingQA，它用于训练和评估语言模型在一个不断演进的维基百科数据库上的能力，通过引入问题回答作为下游任务模拟了真实世界应用。通过研究发现，现有的持续学习基准在更新和遗忘过时知识方面存在困难，主要是由于小的权重梯度导致模型无法学习到更新的知识。此外，我们发现模型在提供数值或时间答案以及问及更新知识的问题上遇到了较大困难。我们的工作旨在对真实世界信息的动态性进行建模，并为语言模型的演进适应能力提供了一个强有力的度量。

Abstract

In an ever-evolving world, the dynamic nature of knowledge presents challenges for language models that are trained on static data, leading to outdated encoded information. However, real-world scenarios require models not only to acquire new knowledge but also to overwrite outdated inf

language models evolving knowledge question answering continual learning evolution-adaptability

发现论文，激发创造

TemporalWiki：面向训练与评估不断进化语言模型的终身基准

通过使用连续快照之间的差异作为训练和评估数据，我们介绍了一个终身学习基准测试 ——TemporalWiki，旨在评估语言模型在频繁更新的知识库，如维基百科，中获取和保留知识的能力，并发现通过继续学习方法使用 diff 数据进行训练可以通过少量的训练数据安全地更新 LM 中的事实知识。

Apr, 2022

StreamingQA：面向问答模型随时间适应新知识的基准测试

本文创建了一个大规模的数据集 StreamingQA，以研究半参数问答模型在面对不断更新的知识时如何适应，并发现在适应过程中，参数化模型可以通过更新而不是完全重新训练来避免灾难性遗忘，但是过时的参数化 LMs 会使半参数模型性能下降。

May, 2022

语言模型的持续知识学习

本文提出了一种新的连续学习问题 —— 连续知识学习，并构建了一个新的数据集和指标，用于衡量时间不变世界知识的保留，过时知识的更新和新知识的获取。通过实验发现，该问题的关键在于对抗知识遗忘和参数扩展，因此对于更好地维护不断变化的大型语言模型非常重要。

Oct, 2021

GrowOVER：LLM 如何适应不断增长的现实世界知识？

提出了 GrowOVER-QA 和 GrowOVER-Dialogue 两种备受关注的动态开放领域问答和对话基准模型，通过持续更新以跟上知识的快速演变，解决了现有知识数据集过时的问题。引入了一种新颖的互动检索语言模型框架，使语言模型能够评估和反思其答案以进行进一步的重新检索，显著改善了现有方法，在性能上与或甚至超过持续训练的语言模型。

Jun, 2024

Mind the Gap: 评估神经语言模型的时间泛化能力

研究表明，Transformer-XL 语言模型在预测超出其训练期的未来话语时，性能会随着时间的推移而逐渐降低。基于此，提出了动态语言建模的思路，并通过不断更新知识来缓解性能退化问题。因此，应重新思考我们目前培训和评估语言模型的方法，并发展出适应我们日益变化和非稳定的世界的自适应语言模型。

Feb, 2021

基于时间感知的语言模型作为时态知识库

介绍了一个用于探讨语言模型在知识更新方面的诊断数据集，提出了一种将文本与时间戳共同建模的简单技术来改善语言模型在训练时期已知事实的记忆和对未来时间段内未知事实的预测。还展示了通过时态语境训练的语言模型可以高效 “刷新”，而无需从头开始重新训练。

Jun, 2021

您的 LLM 已过时吗？时间敏感知识的 LLM 与对齐算法的基准测试

将大规模语言模型作为知识库，我们研究了其随时间推移保持事实知识的适当性。我们设计了一个动态基准来识别过时的知识，并通过实时从 Wikidata 检索的时间敏感领域政治、体育和组织的信息评估了 18 种开源和闭源的最先进大规模语言模型。我们评估了知识编辑方法与检索增强生成在与最新事实知识对齐方面的效果，并通过共享代码、数据集以及评估和可视化脚本将这个动态基准用于评估大规模语言模型的及时性，并可扩展至其他领域。

Apr, 2024

FreshLLMs: 利用搜索引擎增强大型语言模型

本研究重点研究了大型语言模型在回答当前世界知识测试问题方面生成文本的真实性，提出了 FreshQA 动态问答基准和 FreshPrompt 强化性指示方法，通过使用相关和最新信息从搜索引擎检索来提高大型语言模型的性能。

Oct, 2023

动态语言模型用于不断演变的内容

本文研究如何将预训练语言模型适应于不断变化的 Web 内容，通过分析 Twitter 数据的演化，探索了词汇组成和抽样方法对语言模型的增量训练的影响，证明了该方法比离线重新训练新模型更具优越性

Jun, 2021

在线连续知识学习的语言模型

在这篇论文中，我们介绍了一个新的问题，在持续学习领域中称为 “在线持续知识学习（OCKL）”。我们提出了一个新的基准和评估指标，旨在测量新知识获取的速度和先前学到的知识的保留率。通过使用各种最先进的方法进行的实证评估为 OCKL 建立了稳健的基准。我们的结果显示，现有的持续学习方法对于应对 OCKL 提出的独特挑战不足够。我们确定了影响知识获取和保留之间权衡的关键因素，从而推进了我们对如何在不断演化的环境中训练 LLMs 的理解。

Nov, 2023