ACLMay, 2022

Entity Cloze By Date: LMs 关于未见过的实体的知识

PDF
TL;DR本研究提出了一个分析 LMs 推理新实体的框架，并通过使用涵盖实体知识和时间索引的数据集，在句子中评估了 LMs 的困惑度。结果表明，对实体有更多信息的模型在此基准测试中的困惑度更低，但对新实体做出推理仍然很困难。
language modelsnew entitieslms' perplexityentity knowledgetemporal indexing
发现论文，激发创造
  • 基于时间感知的语言模型作为时态知识库

    介绍了一个用于探讨语言模型在知识更新方面的诊断数据集，提出了一种将文本与时间戳共同建模的简单技术来改善语言模型在训练时期已知事实的记忆和对未来时间段内未知事实的预测。还展示了通过时态语境训练的语言模型可以高效 “刷新”，而无需从头开始重新训练。

    Jun, 2021

  • 语言模型能否从描述中学习新的实体？注入知识传播中的挑战

    该研究探讨预训练语言模型进行知识注入和推理的能力，发现目前的更新方法存在学习效果局限性，但将实体定义放在上下文中可提高性能，表明参数更新方法的知识注入还有很大的潜力。

    May, 2023

  • TemporalWiki：面向训练与评估不断进化语言模型的终身基准

    通过使用连续快照之间的差异作为训练和评估数据，我们介绍了一个终身学习基准测试 ——TemporalWiki，旨在评估语言模型在频繁更新的知识库，如维基百科，中获取和保留知识的能力，并发现通过继续学习方法使用 diff 数据进行训练可以通过少量的训练数据安全地更新 LM 中的事实知识。

    Apr, 2022

  • 预训练的语言模型是否学习到了法人实体类型？

    研究了语言模型在领域特定知识的获取和法律知识评估任务，比较了不同类型、长度和语义或语法信号的实体，不同语言模型预训练语料库和架构对于实体类型的性能影响，并发现 Llama2 在优化提示模板后表现良好，法律导向的语言模型显示性能不一致，存在的问题包括多令牌实体以及法律子领域实体的识别，此外 Llama2 在识别句法信号上存在缺陷，相较于基于 BERT 的架构缺陷更为显著。

    Oct, 2023

  • 大型语言模型是否知道自己不知道的？

    本研究评估了大语言模型的自我认知能力，通过引入自主问答数据集和一种自动化方法来检测不能回答的问题，研究发现大语言模型具有一定的自我认知能力，可以通过上下文学习和指导调整进一步提高其自我认知。但是，研究还发现，这些模型与人类在识别知识限制方面存在明显差距。

    May, 2023

  • 大型语言模型中的时间盲点

    该研究旨在调查通用型大型语言模型在需要时间理解的任务中面临的潜在限制，针对三个流行的时间问答数据集，我们发现大型语言模型在关于过去和新信息的详细问题上表现较差，存在多个时间错误，我们的分析有助于理解大型语言模型的局限性，并为开发更好满足时间导向任务需求的未来模型提供有价值的见解。

    Jan, 2024

  • mLUKE: 多语言预训练语言模型中实体表示的强大力量

    此篇论文研究了如何利用来自 Wikipedia 实体的跨语言对齐信息来提高多语言预训练语言模型的效果，并探索了在下游跨语言任务中使用实体表示方法的有效性。

    Oct, 2021

  • 用语言模型区分可知与不可知

    通过大型语言模型中的线性探针和无监督方法，研究确定性认知不确定性与随机认知不确定性的可行性，为多样化实际场景中模型置信度提供更详细的指标。

    Feb, 2024

  • ALCUNA：大型语言模型迎接新知识

    提出了一个名为 KnowGen 的方法来生成新知识，并引入了一个名为 ALCUNA 的基准来评估大规模语言模型在处理新知识方面的能力，发现它们在处理新知识的推理方面表现不佳，并探索了实体相似性对模型对实体知识的理解以及上下文实体的影响。

    Oct, 2023

  • 神经语言模型中的动态实体表示

    该研究提出了一种名为 EntityNLM 的新型语言模型，可显式建模实体，动态更新其表示，并在特定的上下文中生成其提及。该模型在语言建模、指代消解和实体预测等多个不同任务中表现出色。

    Aug, 2017