ICCVOct, 2021

在真实图像上实现符号推理：标定概念和操作

PDF
TL;DR提出了 Calibrating Concepts and Operations（CCO）方法，旨在通过学习概念嵌入矢量和操作校准器解决真实图像数据中长尾概念分布和推断步骤不平等重要性的问题，并在真实世界数据集 GQA 上大幅提升神经符号方法的性能。
neural symbolic methodsreal-world potentialscalibrating concepts and operationsdistribution imbalancehierarchical importance
发现论文，激发创造
  • 正确的概念：通过与其解释交互来修订神经符号概念

    该研究提出了一种基于神经符号场景表征的解释交互学习方法，它能够在语义层面上对模型进行干预，通过对物体的组合性解释来获得更好的效果。

    Nov, 2020

  • 通过诱导符号空间进行可解释的视觉推理

    该研究旨在通过目标 - 中心的组合式注意力模型（OCCAM）和符号概念空间，从与图像相关的问题 - 答案对中识别概念和它们的分层关系，并实现一个可解释的模型。该模型通过设计新的 OCCAM 框架执行视觉推理任务，并提出一种方法，从对象的视觉特征和问题词之间的注意力模式中使用线索，诱导对象和关系的概念。结果表明，OCCAM 在无需人类注释的功能程序的情况下取得了最新的技术水平，并且所诱导的概念精确而充足，在视觉特征或在引入的符号概念空间中表示的对象上都能够取得相当的性能。

    Nov, 2020

  • 符号表示对于背景下少样本推理学习的影响

    本研究的主要目标是使用预先训练的语言模型来进行推理，特别是在推理时使用解释以增强上下文学习。作者将神经符号方法重新引入到这个任务中，并将语言模型作为逻辑程序员，以在知识库中迭代推理。实验结果表明，相对于上下文学习策略， LMLP 在演绎和长度归纳基准测试中表现得更加优秀。

    Dec, 2022

  • 神经符号连续学习：知识、推理快捷方式和概念复述

    我们介绍了一种神经符号连续学习的方法，其中模型必须解决一系列神经符号任务，即它必须将子符号输入映射到高级概念，并通过符合先前知识的推理计算预测。我们提出了 COOL，一种面向神经符号连续问题的概念级连续学习策略，并在三个新的基准测试中进行了实验，这表明 COOL 在其他策略失败的神经符号连续学习任务上具有持续的高性能。

    Feb, 2023

  • 神经符号 VQA: 从视觉和语言理解中分离推理

    该论文介绍了神经符号视觉问答系统，结合深度表示学习和符号程序执行，具有更好的数据和内存效率以及对推理过程的全透明度。

    Oct, 2018

  • 直观推理的图像链

    通过使用连锁图像方法，将复杂的语言推理问题转化为简单的模式识别，并引入一种符号化的多模态大型语言模型，该模型可以根据语言指令生成图像并接受文本和图像作为输入，实验结果表明连锁图像方法显著提高了在几何学、国际象棋和常识任务上的性能。

    Nov, 2023

  • 通过多跳指令进行图像操作 -- 新数据集和弱监督的神经符号化方法

    本篇研究提出一种名为 NeuroSIM 的系统，使用基于领域特定语言 (DSL) 的符号程序将自然语言文本转化为图像操作，实现多模态空间的复杂推理，仅需要视觉问题回答（VQA）的标注数据即可。实验证明，该系统在图像操作方面表现出与已有的监督式数据基准相媲美或胜过的结果。

    May, 2023

  • COVR：基于真实图像的视觉组合推理测试平台

    本文提出了 COVR，一个用于基于真实图像的组合通用化的新测试平台并使用基于场景图注释的实际图像和提出几乎完全自动的生成问题答案对以及相关 (场景) 图像集的过程来创建。由于自动生成过程，COVR 便于组合划分的生成，模型可以在测试时间零或少量训练数据的情况下进行新概念和组合的通用化。我们使用 COVR 构建了组合划分，并演示了许多情况，其中最先进的预训练语言和视觉模型难以进行组合通用化。

    Sep, 2021

  • 构建数据结构：朝向语义图对比事实

    基于语义图的反事实解释方法使用类探测模型和图嵌入来提供更具描述性、准确性和与人类对齐性的解释，实验结果表明其在视觉领域的超越性能。

    Mar, 2024

  • 神经符号概念学习器：从自然监督中解释场景、单词和句子

    提出了一种无需显式监督，通过观察图片和配对问答学习视觉概念、单词和句子语义分析的神经符号概念学习器，其通过神经符号推理模块将符号程序执行于潜在场景表示，辅助学习新词并解析新句子，使用课程学习指导对图像和语言的复合空间进行搜索，并进行了广泛实验来证实其在学习视觉概念、单词表示和语义分析方面的准确性和效率。

    Apr, 2019