本文引入了 “语义可信度” 任务，旨在识别可能是新事件的可信度， 提供了一个新的众包数据集，旨在对单个事件进行语义可信度判断，并发现基于分布式表示的简单模型在此任务上表现不佳，但注入手动引出的实体属性知识可以大幅提高性能，我们的错误分析表明，本文提出的新数据集是进行语义可信度模型测试的极佳试验平台：更复杂的知识表示和传播方法可以解决许多剩余错误。

Apr, 2018

通过从维基百科中提取的自然语句，我们提供了一个新颖的英语事件的物理和抽象合理性的数据集。我们基于不同程度的抽象度生成了扰动的伪不合理事件，并通过众包对一个经过筛选和平衡的子集进行合理性注释，进行了广泛的净化以确保注释质量。深入的定量分析表明，注释者偏向于合理性而不是不合理性，并且对于不合理事件的意见分歧更大。此外，我们的合理性数据集是第一个与具体性一样包含事件抽象性的数据集，我们发现事件的抽象性对合理性评分有影响：更具体的事件参与者触发了不合理性的感知。

Apr, 2024

本文研究了大型语言模型在实际事件中实现推理的能力，设计了一个建模和预测框架，其中大型语言模型执行推断，以协助事件序列模型提高预测准确性，并通过在 Amazon Review 和 GDELT 两个具有挑战性的实际数据集上进行的广泛实验，展示了我们的框架的性能优势。

May, 2023

使用语言模型生成合理性判断，并在多个语言结构中评估其与人类判断的相关性。发现 GPT-4 与人类判断高度相关，可代替人类进行粗粒度合理性预测试。但在需要细粒度判断时，即使是 GPT-4 也无法提供令人满意的区分能力。

Feb, 2024

基于概念角色理论，我们提出一种实用的方法来从根本上提高预训练语言模型的意义感知能力，通过学习字典中单词和定义之间的精确概念关系，进而结合预训练知识来改善模型的不一致行为并实现知识高效整合。实验结果表明此方法能同时提升多种一致性类型，实现知识的高效整合，并可以轻松应用于其他语言。

Oct, 2023

研究人员测试了大型语言模型是否能够生成可信的真实世界事件描述，并发现这些模型虽然能够区分可能和不可能的事件，但在区分可能性较小的事件时仍然比人类表现差，这突显了 LLM 在事件知识方面存在的局限性。

Dec, 2022

通过提取大语料库中确认的事件来进行自我监督学习和在物理合理性任务上进行测试，我们表明预训练语言模型实际上有效地对监督下的物理合理性进行建模，我们提出直接从文本中学习物理合理性的更难的问题。

Nov, 2019

本文研究事件涵义的模型，通过探讨其对物理属性的理解能力来预测实体状态变化。作者发现，传统的大型语言模型无法很好地理解这方面的知识；而通过适当的提示方式，它们的性能可以得到极大的提升，尤其是对于未知的属性或数据信息不足的情况。

Nov, 2022

本文研究语言模型在推理任务中的语义相似性偏见问题，提出添加正则化损失的解决方案，能够提高模型泛化能力，在 BCOPA-CE 数据集上表现更为稳健且具有更好的表现。

Jul, 2021

本研究使用大型自然语言模型作为提议分布，对自然语言的陈述进行贝叶斯推理，以模拟人类抽象符号概念的学习。通过拟合先验人类数据，评估生成和逻辑概念的学习效果。

Jun, 2023