本文研究证明对自然语言的理解需要常识，其中之一是辨别事件的可信度。这篇论文探讨了基于 Transformer 的可信度模型在词汇等级概念类别方面的不一致性，并提出了强制模型一致性的后续方法，以提高与人类可信度判断的相关性。

Apr, 2021

本文引入了 “语义可信度” 任务，旨在识别可能是新事件的可信度， 提供了一个新的众包数据集，旨在对单个事件进行语义可信度判断，并发现基于分布式表示的简单模型在此任务上表现不佳，但注入手动引出的实体属性知识可以大幅提高性能，我们的错误分析表明，本文提出的新数据集是进行语义可信度模型测试的极佳试验平台：更复杂的知识表示和传播方法可以解决许多剩余错误。

Apr, 2018

这项工作通过提出一种新的任务，即自动化的质量分析和数据清洁来收集高质量的社交媒体问答数据集，并使用基于 BERT 的模型进行了评估。我们的最佳方法包括一个单任务模型和一个多任务模型，可以确定问题和响应的合理性，并提取回答。

Nov, 2020

我们提出了两个神经模型用于事件事实预测， 在 FactBank、UW 和 MEANTIME 三个事件事实数据集上相较于之前的模型都有明显的性能提升。我们还大幅扩展了通用分解语义数据集的 It Happened 部分，从而得到了目前最大的事件事实数据集，并在此扩展的数据集上报告了模型结果。

Apr, 2018

在 SemEval-2022 任务 7 中，我们描述了一项共享任务，即对说明性文本中澄清信息的合理性进行评级。该任务的数据集包括手动澄清的操作指南，我们生成了替代的澄清信息，并收集了人类的合理性判断。参与系统的任务是自动确定相应背景下澄清信息的合理性。总共有 21 个参与者参加了该任务，最好的系统的准确率达到了 68.9%。本报告总结了来自 8 个团队的结果和发现以及他们的系统描述。最后，我们进行了额外的评估，结果显示顶级参与团队的预测可以以 75.2% 的准确率确定具有多个合理澄清信息的背景。

Sep, 2023

通过物理环境模拟与多智能体互动，构建 PHASE 数据集，以此设计社会认知任务和社会预测任务，并引入基准模型 —— 贝叶斯逆向规划方法，验证通过该方法可以更好的识别多智能体的复杂社会互动行为。

Mar, 2021

构建能推理物理事件及其因果关系的机器对于与物质世界进行灵活交互至关重要。为了解决现有物理和因果推理基准的缺点，我们提出了一种视频推理数据集，以人类标签为基础，用于对物理事件的因果判断。

Oct, 2023

使用语言模型生成合理性判断，并在多个语言结构中评估其与人类判断的相关性。发现 GPT-4 与人类判断高度相关，可代替人类进行粗粒度合理性预测试。但在需要细粒度判断时，即使是 GPT-4 也无法提供令人满意的区分能力。

Feb, 2024

研究人员测试了大型语言模型是否能够生成可信的真实世界事件描述，并发现这些模型虽然能够区分可能和不可能的事件，但在区分可能性较小的事件时仍然比人类表现差，这突显了 LLM 在事件知识方面存在的局限性。

Dec, 2022

本文提出了一个由多种最新事实一致性模型组合而成的方案，用于检测流行摘要数据集中的问题。我们发布了具有改进真实一致性的 SummFC 数据集，并证明在几乎所有质量方面，使用该数据集训练的摘要生成模型都能够获得更好的性能。我们认为 SummFC 数据集应成为评估摘要系统的有效基准。

Oct, 2022