常识因果关系的奥德赛:从基础指标到前沿推理
提出了一个称为 ROCK 的新颖框架,它将常识因果推理(CCR)任务通过潜在结果框架迁移到观察研究和自然语言处理中。该框架利用时间信号作为偶然监督,通过类似于倾向得分的时间倾向性来平衡混淆效应。实现是组合和零样本且具有良好的 CCR 能力。
Jan, 2022
本文提出了一种新的任务,即在事件序列(即上下文)中检测常识因果推论,称为上下文常识因果推理,并设计了一个零 - shot 框架:COLA(上下文常识因果关系推理器)来解决任务;实验结果表明,COLA 可以比基线更准确地检测常识因果关系。
May, 2023
我们提出了一种基于常识的因果解释方法,通过整合上下文学习和常识知识来增强 ChatGPT 系统在系统角度的推理能力,并将常识因果解释与 ChatGPT 和基于 T5 模型进行整合,实验评估表明我们的方法在自动评估和人工评估上优于其他可比方法。
Jul, 2023
论文概述了 AI commonsense benchmarks 的发展与应用、common sense 的本质及其在 AI 中的作用、构建 commonsense benchmarks 所服务的目标和理想特征。作者分析了现有 benchmark 的常见缺陷,调查了各种构建 commonsense benchmarks 的方法,总结了 139 个 commonsense benchmarks。然而,作者指出现有 benchmark 存在的空缺和 commonsense 推理的方面,并提出了未来的建议。
Feb, 2023
时间常识推理是指理解短语、动作和事件的典型时间背景,并在需要此类知识的问题上使用它进行推理的能力。本文概述了在时间常识推理领域的研究,特别关注通过多种增强和它们在日益增多的数据集上的评估来提高语言模型性能。然而,这些增强模型在处理时间常识属性的推理任务上仍然难以接近人类表现。我们进一步强调在转换器中存在的浅层推理情况下,对研究结果进行谨慎解释以防过度承诺评估结果,可以通过适当准备数据集和合适的评估指标来实现。
Jul, 2023
通过研究不寻常、意外和不太可能的情境,我们探索了非常识性推理的能力,发布了一个名为 UNcommonsense 的英语语料库,并比较人类解释者和最佳大型语言模型的表现差异,最终尝试了几种在线模仿学习算法来训练开放和易用的语言模型,在人工评估中,这些方法在常见和非常识性推理上一致降低了错误率。
Nov, 2023
研究自动故事情节生成并引入软因果关系概念,并通过 Causal, Commonsense Plot Ordering 算法来实现故事叙述。通过人类参与者协议评估系统,探究不同类型的常识推理和归纳偏差对于叙述质量的影响。
Sep, 2020
通过对常识知识源进行调查,本文提出了构建通识知识图谱的原则、表示模型,将七个独立的常识知识源整合到了第一版集成的通识知识图谱中,并分析了它在四个问答数据集上的应用统计结果和所得到的经验教训。
Jun, 2020
本论文提出了 FolkScope—— 基于知识图谱构建的意图知识框架,借助大规模语言模型的生成能力和人机交互的标注,半自动地构建知识图谱,显现人类在电子商务平台购买商品过程中的意图结构,讨论了其内在质量和外部应用,证明其能够很好地模拟常识性的 e-commerce 知识。
Nov, 2022