Jul, 2023

CommonsenseVIS: 自然语言模型的常识推理能力可视化与理解

PDF
TL;DR利用外部常识知识库将模型行为与人类知识对齐，并通过多层次可视化和交互式模型探索和编辑，帮助自然语言处理专家在不同场景中对模型的概念关系推理进行系统且可扩展的可视化分析。
large pretrained language modelscommonsense knowledgefeature attributionscommonsensevisvisual explanatory system
发现论文，激发创造
  • 一种基于预备知识库的常识推理教授预训练模型的初步方法

    通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

    Sep, 2019

  • 在视觉对话中运用多结构常识知识进行推理

    本文提出了一种基于多结构的常识知识的推理模型，通过句子级事实和图级事实表示外部知识，通过图形交互和变压器融合捕获相关的知识并将其融入视觉和语义特征中，已在 VisDial v1.0 和 VisDialCK 数据集上取得了有效的性能优于比较方法。

    Apr, 2022

  • 基于视觉的常识知识获取

    CLEVER 是一种利用视觉感知中蕴含的 commonsense 知识，在不需要人类对图像实例进行注释的情况下，通过远程监督的多实例学习问题，从图像中提取 commonsense 知识的方法。实验结果表明，CLEVER 可以提取有质量的 commonsense 知识。

    Nov, 2022

  • 解释自己！利用语言模型进行常识推理

    使用自然语言序列和突出的注释收集人类的常识推理解释，形成一个名为 CoS-E 的新数据集。利用 CoS-E 训练语言模型，在 Commonsense Auto-Generated Explanation (CAGE) 框架中生成解释，可用于训练和推理。实验结果表明能够有效利用语言模型进行常识推理。

    Jun, 2019

  • 在预训练模型中加入常识知识图谱以进行社交常识任务

    该研究提出了两种方法，通过外部常识知识图谱，隐式或显式地融入到预先训练好的自然语言处理模型中，以提高社交智能，这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。

    May, 2021

  • 从识别到认知：视觉常识推理

    该研究论文旨在推进计算机视觉模型的视觉常识推理能力。研究者针对这一目标，提出一项包含 290k 多选题的新数据集 VCR，并使用基于对抗匹配的方法进行添加问题。通过引入新的推理引擎 - Recognition to Cognition 网络（R2C），该文章对计算机视觉模型的性能进行了分析，并提出未来研究的方向。

    Nov, 2018

  • KagNet: 基于知识的图网络用于常识推理

    该研究提出了一种基于知识图谱的语义推理框架，以解决常识性问题，并通过引入 KagNet 模型和 ConceptNet 外部资源，取得了在常识 QA 数据集上的最佳表现。

    Sep, 2019

  • 基于场景图的常识知识在文本环境中的应用

    本文研究了在文本游戏中使用基于视觉数据集得到的常识推理有助于提高游戏 AI 效率的优势，对比了空间关系的统计信息并在常识推理任务中进行验证实验，结果表明该方法优于现有最先进的方法。

    Oct, 2022

  • 超越语言：从图片中学习常识进行推理

    本文提出了一种从图像中学习常识的新方法，利用双模态序列到序列模型进行场景布局生成任务，并在通感问题回答和代词消解领域实验中证明了新方法的有效性。

    Oct, 2020

  • 通过多图像生成改善语言模型中的视觉常识

    基于多模态知识的常识推理是根本，我们介绍了一种方法来增强大型语言模型的视觉常识能力，该方法通过生成多个图像并将其与模型的决策过程相融合来提供综合的图像和文本知识。这种方法在不仅在视觉常识上，还在传统自然语言处理基准上优于现有基线模型。

    Jun, 2024