Oct, 2023

Bongard-OpenWorld: 现实世界中自由形式视觉概念的少样本推理

PDF
TL;DR我们引入了 Bongard-OpenWorld，这是一个用于评估机器视觉领域的真实世界少样本推理的新基准。它继承了经典的 Bongard 问题的少样本概念归纳，并添加了两个新的挑战层：一是开放世界的自由形式概念，二是真实世界的图像。然而，目前的学习算法仍无法达到人类的准确度，我们希望 Bongard-OpenWorld 能帮助我们更好地理解当前视觉智能的局限性，并促进未来对具有较强少样本视觉推理能力的视觉智能体的研究。
bongard-openworldfew-shot reasoningmachine visionvisual conceptsneuro-symbolic reasoning
发现论文，激发创造
  • Bongard-HOI: 用于人 - 物互动视觉推理的几支学习基准评测

    该研究提出了一种视觉推理基准测试，名为 Bongard-HOI，用于组合学习自然图像中的人 - 物交互。该基准测试模拟实际场景中的一些情况，通过 few-shot instance 和难例的设计，将正负图像仅在动作标签上发生分歧，使得仅仅识别物体类别就无法完成测试，对于当今的视觉识别模型来说是具有相当大的挑战。

    May, 2022

  • Bongard-LOGO: 人类水平的概念学习和推理新基准

    通过提出 Bongard-LOGO 基准来评估人类概念学习和推理，我们展示了先前方法的不足之处，并讨论了适用于解决此类基准的一般视觉推理架构的研究方向。

    Oct, 2020

  • 使用视觉语言和实用推理解决 Bongard 问题

    本文介绍了用图像处理提取的视觉特征，并将其转化为符号视觉词汇的视觉概念学习问题。使用贝叶斯推理和形式语言，可以从提供的 Bongard 问题示例中引出复杂的视觉概念，并考虑语用推理，该方法解决了一大部分 Bongard 问题，但距离全面解决还有很长的路要走。

    Apr, 2018

  • 面向开放世界抓取的大规模视觉语言模型

    通过结合语言模型 (vision-language models)、分割模型和抓取综合模型，提出了一个能够在任何场景中理解、规划和执行物体抓取的开放世界抓取系统 (OWG)，通过视觉提示机制，借助于开放式自由语言的引导实现零样本应用，展示了该系统在杂乱室内场景数据集和仿真环境、硬件实验中相对于以往的有监督和零样本语言模型方法具有优越性能。

    Jun, 2024

  • 跨图像上下文对于邦加德问题至关重要

    现有的机器学习方法在解决博加德问题方面存在困难，不仅是因为神经网络缺乏人类化的符号规则找寻能力，更因为许多方法仅仅依靠从个体支持集中提取的信息而未整合整个支持集所包含的信息，而我们探索了多种简单的方法来考虑这种跨图像的上下文，并展示了相较之前的方法有着显著提高的结果，在博加德 - LOGO（75.3%）和博加德 - HOI（72.45%）上达到了新的最先进表现，并在原始博加德问题集上表现出强大的性能（60.84%）。

    Sep, 2023

  • 建模概率模型解决邦加德 - 标志问题

    本研究介绍了 PMoC，这是一种为 Bongard-Logo 问题量身定制的概率模型，通过构建独立的概率模型实现了高准确性的推理。此外，我们还提出了 Pose-Transformer，这是一种专为复杂的抽象推理任务设计的增强型 Transformer-Encoder，包括 Bongard-Logo、RAVEN、I-RAVEN 和 PGM。Pose-Transformer 结合了位置信息学习，受胶囊网络中的姿势矩阵启发，增强了其对图像数据处理中的局部位置关系的关注。当与 PMoC 集成时，它进一步提高了推理准确性。我们的方法有效地解决了与抽象实体的位置变化相关的推理困难，在 RAVEN 的 OIG、D3×3 子集和 PGM 数据库上超过了之前的模型。本研究对于推进 AI 在抽象推理和认知模式识别方面的能力具有重要贡献。

    Mar, 2024

  • SOK-Bench：具有对齐的开放世界知识的情境视频推理基准

    通过从真实世界的视觉环境和场景中学习常识推理，可以迈向先进的人工智能；然而，现有的视频推理基准仍然不足，因为它们主要设计用于事实推理或定位推理，很少涉及到现实世界的更广泛的知识。我们的工作旨在深入研究推理评估，尤其是在动态的、开放的和结构化的上下文知识中；我们提出了一个新的基准测试（SOK-Bench），包含 44K 个问题和 10K 个以视频为示例的情境，带有实例级别的注释。推理过程要求理解和应用情境知识和一般知识进行问题解决。为了创建这样的数据集，我们提出了一种自动且可扩展的生成方法，通过指导 LLMs 和 MLLMs 的组合来生成问题 - 答案对、知识图谱和合理性。具体来说，我们首先从视频中提取可观察到的情境实体、关系和过程，用于情境知识，然后扩展到超出可见内容的开放世界知识。通过多次对话进行任务生成，并通过我们设计的自我提示和演示进行纠正和改进。有了明确的情境事实和隐含的常识知识，我们生成相关的问题 - 答案对和推理过程，并最后通过人工审查进行质量保证。我们评估了最新的主流大视觉语言模型在基准测试上，并得出了一些有见地的结论。详情请参阅我们在 www.bobbywu.com/SOKBench 上的基准测试。

    May, 2024

  • 在 Bongard-HOI 中从增强标签不确定查询中进行少样本学习

    在这篇论文中，研究人员提出了一种新的方法来解决在少样本情况下检测人 - 物交互的问题，通过引入标签不确定的查询增强技术，以及伪标签生成技术和负样本支持集增强信息的方式，实现了在 Bongard-HOI 基准和 HICO-FS 数据集上的性能显著提升。

    Dec, 2023

  • 流浪于世界之中：在线背景下的少样本学习

    该论文通过在一个在线，不断变化的环境中扩展少样本学习的框架，介绍了一种上下文依赖的新颖学习数据集和一种新的上下文典型记忆模型，旨在缩小人类和机器学习环境之间的差距。

    Jul, 2020

  • 多视角图像中的三维概念学习和推理

    本文提出了一个新的大规模 3D 多视图视觉问答基准（3DMV-VQA），介绍了一种基于神经场，2D 预训练的视觉语言模型和神经推理运算符的 3D 概念学习与推理（3D-CLR）框架，并评估了各种最先进的模型，发现它们都表现不佳，提出了从多视图图像中推断出世界的紧凑 3D 表示，并在此基础上执行推理的原则方法，对挑战进行了深入分析并指出了潜在的未来方向。

    Mar, 2023