IJCAIMay, 2017

如何利用通用常识本体提升基于学习的图像检索性能

PDF
TL;DR本文探讨了如何利用 MIT 的通用本体库 ConceptNet，改进最新视觉系统的性能，实验表明，通用常识本体库可以通过过滤选择有意义的视觉关系，提升视觉推理任务的表现。
knowledge representationontologiesvisual recognitionconceptnetcommonsense knowledge
发现论文，激发创造
  • 基于场景图的常识知识在文本环境中的应用

    本文研究了在文本游戏中使用基于视觉数据集得到的常识推理有助于提高游戏 AI 效率的优势，对比了空间关系的统计信息并在常识推理任务中进行验证实验，结果表明该方法优于现有最先进的方法。

    Oct, 2022

  • 基于视觉的常识知识获取

    CLEVER 是一种利用视觉感知中蕴含的 commonsense 知识，在不需要人类对图像实例进行注释的情况下，通过远程监督的多实例学习问题，从图像中提取 commonsense 知识的方法。实验结果表明，CLEVER 可以提取有质量的 commonsense 知识。

    Nov, 2022

  • 在预训练模型中加入常识知识图谱以进行社交常识任务

    该研究提出了两种方法，通过外部常识知识图谱，隐式或显式地融入到预先训练好的自然语言处理模型中，以提高社交智能，这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。

    May, 2021

  • 检索增强型通识生成模型

    采用检索方法增强先前训练和微调，提出了一种新的框架用于增强常识生成，通过原型句子候选集，进一步使用可训练的句子检索器提高其性能，并在大规模 CommonGen 基准测试上实现了最新的最优结果。

    May, 2021

  • 基于图形迭代检索多个知识源来提高常识问答

    该研究提出了一种将多种知识源集成起来的问题回答方法，着重利用基于图的迭代知识检索模块和答案感知的注意机制，从多个知识源中检索和综合背景知识，并在 CommonsenseQA 数据集上实现了最优的表现。

    Nov, 2020

  • CommonsenseVIS: 自然语言模型的常识推理能力可视化与理解

    利用外部常识知识库将模型行为与人类知识对齐，并通过多层次可视化和交互式模型探索和编辑，帮助自然语言处理专家在不同场景中对模型的概念关系推理进行系统且可扩展的可视化分析。

    Jul, 2023

  • 检索增强通识推理：一种统一方法

    本文提出了一种统一的基于检索增强的通识推理框架（RACo），包括一个新构建的包含 2000 万个文档的通识语料库和训练通识检索器的新策略。对四个不同的通识推理任务进行的广泛评估结果表明，我们提出的 RACo 可以显著优于其他知识增强方法的竞争者，在 CommonGen 和 CREAK 排行榜上取得了新的 SoTA 性能。

    Oct, 2022

  • 利用知识图谱提高图像字幕生成的性能

    本文探讨了使用抓取通用或常识性知识的知识图谱来增强最先进的图像字幕生成方法从图像中提取的信息，实验结果表明，利用从知识图谱中提取的信息的最先进方法，在诸如 MS COCO 等多个基准数据集上，可以比仅依赖于从图像中提取的信息的方法实现显著更好的性能，其中性能用 CIDEr-D 评估。

    Jan, 2019

  • 一种基于预备知识库的常识推理教授预训练模型的初步方法

    通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

    Sep, 2019

  • 通过知识图谜题提升视觉 - 语言模型的常识能力

    本文提出了一种名为 DANCE 的数据增强策略，使用知识图谱线性化技术向现有 VL 数据集中注入常识知识，从而提高 VL 模型的常识能力，并首次提出了基于检索的常识诊断基准进行细致实验验证。

    Nov, 2022