通过知识图谜题提升视觉 - 语言模型的常识能力

Nov, 2022

通过知识图谜题提升视觉 - 语言模型的常识能力

Improving Commonsense in Vision-Language Models via Knowledge Graph Riddles

Shuquan Ye, Yujia Xie, Dongdong Chen, Yichong Xu, Lu Yuan...

TL;DR本文提出了一种名为 DANCE 的数据增强策略，使用知识图谱线性化技术向现有 VL 数据集中注入常识知识，从而提高 VL 模型的常识能力，并首次提出了基于检索的常识诊断基准进行细致实验验证。

Abstract

This paper focuses on analyzing and improving the commonsense ability of recent popular vision-language (VL) models. Despite the great success, we observe that existing VL-models still lack commonsense knowledge/

commonsense vision-language models data augmentation knowledge graph diagnostic benchmark

发现论文，激发创造

增强型常识知识用于远程物体定位

通过引入增强型常识知识模型 (ACK)，利用常识信息的时空知识图，增强代理导航，通过知识图感知跨模态和概念聚合模块来提升可视化表示和可视化文本数据对齐，同时引入基于常识的决策过程，实现更准确的本地动作预测。

Jun, 2024

基于场景图的常识知识在文本环境中的应用

本文研究了在文本游戏中使用基于视觉数据集得到的常识推理有助于提高游戏 AI 效率的优势，对比了空间关系的统计信息并在常识推理任务中进行验证实验，结果表明该方法优于现有最先进的方法。

Oct, 2022

在预训练模型中加入常识知识图谱以进行社交常识任务

该研究提出了两种方法，通过外部常识知识图谱，隐式或显式地融入到预先训练好的自然语言处理模型中，以提高社交智能，这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。

May, 2021

在视觉对话中运用多结构常识知识进行推理

本文提出了一种基于多结构的常识知识的推理模型，通过句子级事实和图级事实表示外部知识，通过图形交互和变压器融合捕获相关的知识并将其融入视觉和语义特征中，已在 VisDial v1.0 和 VisDialCK 数据集上取得了有效的性能优于比较方法。

Apr, 2022

CommonsenseVIS: 自然语言模型的常识推理能力可视化与理解

利用外部常识知识库将模型行为与人类知识对齐，并通过多层次可视化和交互式模型探索和编辑，帮助自然语言处理专家在不同场景中对模型的概念关系推理进行系统且可扩展的可视化分析。

Jul, 2023

基于视觉的常识知识获取

CLEVER 是一种利用视觉感知中蕴含的 commonsense 知识，在不需要人类对图像实例进行注释的情况下，通过远程监督的多实例学习问题，从图像中提取 commonsense 知识的方法。实验结果表明，CLEVER 可以提取有质量的 commonsense 知识。

Nov, 2022

超越语言：从图片中学习常识进行推理

本文提出了一种从图像中学习常识的新方法，利用双模态序列到序列模型进行场景布局生成任务，并在通感问题回答和代词消解领域实验中证明了新方法的有效性。

Oct, 2020

通过多图像生成改善语言模型中的视觉常识

基于多模态知识的常识推理是根本，我们介绍了一种方法来增强大型语言模型的视觉常识能力，该方法通过生成多个图像并将其与模型的决策过程相融合来提供综合的图像和文本知识。这种方法在不仅在视觉常识上，还在传统自然语言处理基准上优于现有基线模型。

Jun, 2024

视觉和语言推理：探索补充知识的益处

本文研究了将通用知识库中的知识注入视觉 - 语言模型中，并通过辅助训练目标增加了语义和关系知识的表征，实现了对问题回答、视觉推理等任务中的性能提升，这种技术不依赖于特定的模型，具有较小的计算开销。

Jan, 2021

知识图谱增强的韩语生成式常识推理

本文提出一种利用韩语知识图谱数据进行文本生成的方法，并强调使用补充数据可以增强韩语通识推理的效率。

Jun, 2023