Jul, 2023

VisKoP：面向交互知识库问答的视觉知识导向编程

PDF
TL;DR我们介绍了 VisKoP，一个以可视化知识为导向的编程平台，它集成了人类的编辑和调试能力来解决知识库查询问题。VisKoP 不仅提供了神经程序归纳模块，将自然语言问题转化为面向知识的编程语言 (KoPL)，还将 KoPL 程序映射成图形元素。通过简单的图形操作，如拖动添加知识操作符和填充操作符参数，可以编辑 KoPL 程序。此外，VisKoP 还为其知识库模式提供自动补全功能，用户可以通过检查中间结果轻松调试 KoPL 程序。为了实现百万实体级别的实际知识库查询应用，我们为后端设计了高效的 KoPL 执行引擎。实验证明，VisKoP 非常高效，用户交互可以纠正错误的 KoPL 程序大部分，从而获得正确的答案。VisKoP 的在线演示、稳定版本和具有新功能的测试版本、高效的 KoPL 引擎以及演示视频现已公开提供。
viskopknowledge base question answeringneural program inductionkbqakopl
发现论文，激发创造
  • 开放域问答系统能回答视觉知识问题吗？

    本研究提出了一种基于文本的视觉问题解答系统，此系统无需额外外部知识，仅利用 BERT 模型进行重新提问，表现优异，且仅使用训练数据的 10％。

    Feb, 2022

  • 使用开放谓词关系在虚拟知识库上进行推理

    提出了一种 Open Predicate Query Language（OPQL）的方法，用于从文本中构建虚拟 KB（VKB），它不需要结构化的训练，可以用于语言模型，同时在两个开放领域问题回答任务中表现出色。

    Feb, 2021

  • 视觉编程：无需训练的构成性视觉推理

    VISPROG 是一种神经符号方法，用于解决复杂和组合的视觉任务，所需的仅是自然语言指令，通过生成类似 Python 的模块化程序来实现，每行程序可以调用各种计算机视觉模型，图像处理算法或 Python 函数以产生中间输出，展示了其在 4 个不同的任务上的灵活性 。

    Nov, 2022

  • A-OKVQA: 利用世界知识的视觉问答基准

    介绍了 A-OKVQA 数据集，它包含了约 25000 个多样化的问题，需要广泛的常识和世界知识才能回答，相对于现有的基于知识的 VQA 数据集，这些问题通常不能通过简单地查询知识库来回答，而是需要对图像中所描绘的场景进行某种形式的常识推理，该数据集对几种最先进的视觉语言模型进行了基础性能测试。

    Jun, 2022

  • 选择、替换、搜索：一种新的用于知识增强视觉问答的基准测试

    该研究针对现有数据集中存在的限制，建立了一个新的基于结构模式的跨模态问答数据集和挑战，同时提出了一个基于神经网络的透明的 OKVQA 系统 S3，该系统在新数据集上实现了比较好的表现。

    Mar, 2021

  • OK-VQA：需要外部知识的视觉问答基准

    本文提出了名为 OK-VQA 的基于知识的视觉问答基准，要求使用外部知识资源来回答问题，该任务是多样的、困难的和大型的，与以前的基于知识的 VQA 数据集相比具有更高的难度。

    May, 2019

  • 基于开放集和知识的视觉问答与推理路径

    知识引导的视觉问题回答（KB-VQA）通过外部知识库的辅助，为图像和相关的文本问题提供正确答案。本文提出了一种名为 Graph pATH rankER（GATHER）的新型 KB-VQA 框架，通过构建图、修剪和路径级别排序，不仅能够准确检索答案，还提供解释推理过程的路径。通过在真实世界问题上的广泛实验，证明了该框架不仅能够在整个知识库上进行开放式问题回答，还能提供明确的推理路径。

    Oct, 2023

  • 基于跨模态知识推理的基于知识的视觉问答

    本文提出了基于多个知识图谱的知识的视觉问答模型，通过串联的 GRUC 模块，对不同模态的图像信息进行并行推理，最终利用图神经网络获得全局最优解，在三个流行基准数据集上获得新的 state-of-the-art 表现结果。

    Aug, 2020

  • 从解析 - 执行到解析 - 执行 - 精炼：改进知识库复杂问题回答的语义解析器

    本研究提出了一种名为 parse-execute-refine 的模型，它能够通过对推理过程进行逐步演示的方式，提高 KoPL 语义解析器的推理能力，该模型在三个方面的增强：解析阶段，执行阶段和细化阶段，在进行复杂知识库问答的任务中，比当前最先进的基线模型表现更好。

    May, 2023

  • 基于显式知识的视觉问答推理

    使用来自大规模知识库的信息来推理图片内容，解释推理过程并回答自然语言问题的视觉问答方法，比主流的长短时记忆方法更能回答复杂问题且表现明显更好，同时提供了数据集和协议来评估这类方法。

    Nov, 2015