Feb, 2023

自动常识推理基准：一项调查

PDF
TL;DR论文概述了 AI commonsense benchmarks 的发展与应用、common sense 的本质及其在 AI 中的作用、构建 commonsense benchmarks 所服务的目标和理想特征。作者分析了现有 benchmark 的常见缺陷，调查了各种构建 commonsense benchmarks 的方法，总结了 139 个 commonsense benchmarks。然而，作者指出现有 benchmark 存在的空缺和 commonsense 推理的方面，并提出了未来的建议。
ai commonsense benchmarkscommon senseartificial intelligencetestingmeasure
发现论文，激发创造
  • 探索和分析机器通识常识基准测试

    该论文提出一个基于本体论的共识问题回答基准术语表，为机器共识领域的研究者提供一个共同的词汇以加强共识问题回答基准的评估。

    Dec, 2020

  • COM2SENSE：具备互补句子的常识推理基准

    本文旨在探讨预训练语言模型在常识推理数据集中的可靠性和全面性，并提出了一个新的包含自然语言真 / 假语句对的常识推理基准数据集，通过对不同维度的领域的知识、推理场景以及数学的设计来促进常识能力的系统分析，并设计了成对精度度量标准来可靠地衡量代理的常识推理能力。实验结果表明，我们最强的基线模型在微调后达到了约 71％的标准准确性和约 51％的成对准确性，远低于人类表现。

    Jun, 2021

  • 面向对话 AI 的常识推理：现有技术综述

    本论文调查了最近关于常识推理的谈话人工智能研究，列出了相关的训练数据集，并描述了在谈话人工智能中包含常识的主要方法，讨论了用于评估谈话人工智能中常识的基准，最后对两个最先进的开放对话模型 BlenderBot3 和 LaMDA 的常识能力进行了初步观察，并对自然交互产生了负面影响，进一步激发了关于常识推理在谈话人工智能中的研究。

    Feb, 2023

  • 物理推理 AI 的基准测试

    物理推理是开发通用人工智能系统的关键因素，本论文旨在提供现有基准的综述及其解决方法，并提出了衡量人工智能系统物理推理能力的统一观点。我们选择了设计用于测试物理推理任务中算法性能的基准。虽然每个选定的基准都提出了独特的挑战，但它们的集合为具有各种物理推理概念可测量技能水平的通用 AI 代理提供了全面的实践场所。因此，这些基准集合相较于旨在模拟现实世界并交织其复杂性和许多概念的综合基准具有优势。我们将所呈现的一组物理推理基准分为子类别，以首先在这些组上对更窄的通用 AI 代理进行测试。

    Dec, 2023

  • 走向新常识科学

    本篇论文讨论了人工智能中普遍存在的缺乏常识与人类智能的巨大差距，提出了从更广泛的角度考虑人工智能中的常识，处理完整的认知系统，并倡导对人工智能领域的常识知识进行全新的科学探索。

    Dec, 2021

  • 评估计算机常识的理论基础基准

    本文提出了一个名为 TG-CSR 的具有理论基础的通识常识推理基准，该基准旨在评估通识常识的各种方面，并基于少量的训练和验证示例进行学习。通过初步的测试结果表明，该基准对于设计用于推理性 CSR 问题答案的先进语言表示模型来说是具有挑战性的。

    Mar, 2022

  • 常识知识的整合

    通过对常识知识源进行调查，本文提出了构建通识知识图谱的原则、表示模型，将七个独立的常识知识源整合到了第一版集成的通识知识图谱中，并分析了它在四个问答数据集上的应用统计结果和所得到的经验教训。

    Jun, 2020

  • 数学、应用题、常识和人工智能

    本文讨论了当前人工智能技术在解决结合基本知识和常识推理的词问题方面的能力和局限性。我们回顾了三种方法，并讨论了现有技术在解决这些问题方面的限制。我们认为，这些限制可能对数学应用和人类书写的数学内容的理解有重要影响。

    Jan, 2023

  • 智能的度量

    该研究介绍了智能系统自识别反馈信号的必要性，提出了基于算法信息理论的智能定义，阐明了人工智能基准测试的重要性，介绍了一个使用人类内在先验近似设计的基准测试集 ——ARC，用于度量具有高通用流体智能的人工智能系统与人类的综合智能的比较。

    Nov, 2019

  • 预训练语言模型在常识知识推理和生成中的应用：综述

    本文调查了预先训练模型在常识推理和生成任务上的表现，探讨了最新研究的优劣势，并提出未来的研究方向。

    Jan, 2022