大型语言模型中的事件知识：不可能与不太可能之间的差距

Dec, 2022

大型语言模型中的事件知识：不可能与不太可能之间的差距

Event knowledge in large language models: the gap between the impossible and the unlikely

Carina Kauf, Anna A. Ivanova, Giulia Rambelli, Emmanuele Chersoni, Jingyuan S. She...

TL;DR研究人员测试了大型语言模型是否能够生成可信的真实世界事件描述，并发现这些模型虽然能够区分可能和不可能的事件，但在区分可能性较小的事件时仍然比人类表现差，这突显了 LLM 在事件知识方面存在的局限性。

Abstract

People constantly use language to learn about the world. Computational linguists have capitalized on this fact to build large language models (LLMs) that acquire co-occurrence-based knowledge from language corpora. LLMs achieve impressive performance on many tasks, but the robustness o

language models real-world events llm limitations event descriptions world knowledge

发现论文，激发创造

大型语言模型是否具有时间性基础？

大型语言模型在时间上没有实质依据，缺乏自洽性并且表现出不一致的行为性。

Nov, 2023

语言模型可通过少量示例引入推理，从而提高事件预测能力

本文研究了大型语言模型在实际事件中实现推理的能力，设计了一个建模和预测框架，其中大型语言模型执行推断，以协助事件序列模型提高预测准确性，并通过在 Amazon Review 和 GDELT 两个具有挑战性的实际数据集上进行的广泛实验，展示了我们的框架的性能优势。

May, 2023

从大型语言模型中提取事件序列知识

利用大型语言模型生成事件序列，填补知识图中的知识空白，并通过模式挖掘和概率事件模型发现有用的和更复杂的结构化知识。

Jan, 2024

大型语言模型逻辑推理的教学学习

通过对大型语言模型的研究，我们发现它们在逻辑推理方面存在缺陷，导致其在任务解决中产生反事实的答案。为了解决这个问题，我们提出了多种策略，赋予大型语言模型逻辑推理能力，从而使其能够在不同场景中生成更符合逻辑的答案。我们还通过构建一个综合数据集 (LMM-LR) 对该方法进行了评估和预训练。在不同任务上进行了广泛的定量和定性分析，验证了通过逻辑训练大型语言模型的有效性和必要性，并为将来的工作提供了启示。

Oct, 2023

大型语言模型与人类在带有脚本知识的因果推理中有相似的行为吗？

最近，大规模预训练语言模型（LLM）展示了卓越的语言理解能力，包括零示例因果推理。然而，目前尚不清楚它们的能力在多大程度上与人类相似。本文研究了一个基于脚本故事中事件 $B$ 的处理，该事件的因果关系依赖于前一个事件 $A$。通过自行阅读实验，发现在因果冲突存在（$ eg A ightarrow B$）的情况下，人类的阅读时间明显较长，而在逻辑条件（$A ightarrow B$）下，阅读时间保持类似。然而，当未明确提及事件 A 时，阅读时间仍然类似，表明人类可以轻易从脚本知识中推断出事件 B。随后，我们测试了多种 LLM 模型在相同数据上的表现，以检查模型在多大程度上复制了人类行为。实验结果显示：1）只有最近的 LLM 模型，如 GPT-3 或 Vicuna，与人类行为在 $ eg A ightarrow B$ 条件下相关。2）尽管存在这种相关性，所有模型仍然无法预测 $nil ightarrow B$ 相对于 $ eg A ightarrow B$ 来说更不足为奇，表明 LLM 模型在整合脚本知识方面仍存在困难。我们的代码和收集的数据集可在此 https URL 获取。

Nov, 2023

使用语言模型的学习界限

本文研究大语言模型在自然语言处理中的局限性，特别是无法学习一些基本语义属性，如语义蕴涵和一致性，以及不能学习超越 Borel 层次结构的概念，这对语言模型的语言理解能力产生了严重限制。

Jun, 2023

大型语言模型的事件推理综合评估

对 LLMs 的事件推理能力进行了综合评估，发现 LLMs 在事件推理方面的表现仍然不尽如人意。通过发现 LLMs 对事件推理能力存在的不平衡，提出了两种方法来指导 LLMs 利用事件模式知识，并获得了改进。

Apr, 2024

EvEntS ReaLM: 基于语言模型的实体状态事件推理

本文研究事件涵义的模型，通过探讨其对物理属性的理解能力来预测实体状态变化。作者发现，传统的大型语言模型无法很好地理解这方面的知识；而通过适当的提示方式，它们的性能可以得到极大的提升，尤其是对于未知的属性或数据信息不足的情况。

Nov, 2022

EconNLI: 对大型语言模型在经济推理上的评估

评估大型语言模型在经济领域的知识和推理能力，发现它们在经济推理方面不够成熟且可能产生错误或虚构的结果，提出了经济事件的自然语言推理数据集（EconNLI）以增强评估方法，认识到在涉及经济推理和分析的关键决策中使用大型语言模型存在局限性。

Jul, 2024

用语言模型区分可知与不可知

通过大型语言模型中的线性探针和无监督方法，研究确定性认知不确定性与随机认知不确定性的可行性，为多样化实际场景中模型置信度提供更详细的指标。

Feb, 2024