CVPRApr, 2022

在视觉对话中运用多结构常识知识进行推理

PDF
TL;DR本文提出了一种基于多结构的常识知识的推理模型，通过句子级事实和图级事实表示外部知识，通过图形交互和变压器融合捕获相关的知识并将其融入视觉和语义特征中，已在 VisDial v1.0 和 VisDialCK 数据集上取得了有效的性能优于比较方法。
visual dialogcommonsense knowledgelogical reasoningmulti-structure representationsgraph-based interaction
发现论文，激发创造
  • DMRM: 用于视觉对话的双通道多跳推理模型

    提出了一种新的视觉对话模型 DMRM，通过双通道多跳推理结合多模态注意力，有效地将问题、图像和历史上下文信息融合，从而提高了视觉对话的生成质量。在 VisDial v0.9 和 v1.0 数据集上，DMRM 模型的实验结果表明，相比较其他模型，DMRM 模型具有更好的效果。

    Dec, 2019

  • 利用常识知识增强端到端对话系统

    本文研究了将常识知识有效地集成到对话模型中的影响，并在基于检索的情境下提出了 Tri-LSTM 模型，将消息和常识联合起来选择适当的响应，实验证明知识增强模型比无知识模型在自动评估中表现更好。

    Sep, 2017

  • 从识别到认知：视觉常识推理

    该研究论文旨在推进计算机视觉模型的视觉常识推理能力。研究者针对这一目标，提出一项包含 290k 多选题的新数据集 VCR，并使用基于对抗匹配的方法进行添加问题。通过引入新的推理引擎 - Recognition to Cognition 网络（R2C），该文章对计算机视觉模型的性能进行了分析，并提出未来研究的方向。

    Nov, 2018

  • CommonsenseVIS: 自然语言模型的常识推理能力可视化与理解

    利用外部常识知识库将模型行为与人类知识对齐，并通过多层次可视化和交互式模型探索和编辑，帮助自然语言处理专家在不同场景中对模型的概念关系推理进行系统且可扩展的可视化分析。

    Jul, 2023

  • 基于视觉的常识知识获取

    CLEVER 是一种利用视觉感知中蕴含的 commonsense 知识，在不需要人类对图像实例进行注释的情况下，通过远程监督的多实例学习问题，从图像中提取 commonsense 知识的方法。实验结果表明，CLEVER 可以提取有质量的 commonsense 知识。

    Nov, 2022

  • 超越语言：从图片中学习常识进行推理

    本文提出了一种从图像中学习常识的新方法，利用双模态序列到序列模型进行场景布局生成任务，并在通感问题回答和代词消解领域实验中证明了新方法的有效性。

    Oct, 2020

  • 利用显式推理进行常识增强式对话模型中的推理整合

    通过将常识推理分解为明确步骤，从而更好地生成、选择和整合常识来提高对话交互的自然性、参与度、特定性和整体质量，从而在常识推理增强的响应生成领域取得了最新技术进展。

    Jun, 2024

  • 通过知识图谜题提升视觉 - 语言模型的常识能力

    本文提出了一种名为 DANCE 的数据增强策略，使用知识图谱线性化技术向现有 VL 数据集中注入常识知识，从而提高 VL 模型的常识能力，并首次提出了基于检索的常识诊断基准进行细致实验验证。

    Nov, 2022

  • 通过多图像生成改善语言模型中的视觉常识

    基于多模态知识的常识推理是根本，我们介绍了一种方法来增强大型语言模型的视觉常识能力，该方法通过生成多个图像并将其与模型的决策过程相融合来提供综合的图像和文本知识。这种方法在不仅在视觉常识上，还在传统自然语言处理基准上优于现有基线模型。

    Jun, 2024

  • 基于常识的对话生成：一个实证研究

    本研究针对 commonsense 在对话回应生成中的作用进行了实证研究，提出了一种新的对话数据集，并利用 ConceptNet 这个 commonsense 知识库，找到并整合了现有的真实对话数据集。通过使用这些数据集训练响应生成模型，该研究提出的自动评估方法显示出一定合理的评价效果。

    Sep, 2021