Mar, 2024

逻辑守护者：发现、提取和利用常识知识

PDF
TL;DR本文研究了文本到图像模型，在细节导向的条件控制下，实现了更精细的空间控制。然而，某些生成的图像仍然不合理，尽管有丰富的对象特征和和谐的风格。我们发现，作为常识知识，深层次的逻辑信息在理解和处理图像中起着重要作用，但几乎所有模型都忽视了图像中逻辑关系的重要性，导致在这方面的性能较差。因此，我们提出了 LogicalDefender 方法，将图像与已由人类总结的逻辑知识结合起来，这样可以更快、更好地学习逻辑知识，并同时从图像和人类知识中提取广泛适用的逻辑知识。实验证明，我们的模型在逻辑性能方面取得了更好的表现，并且提取的逻辑知识可以有效地应用于其他场景。
text-to-image modelslogical informationcommon-sense knowledgelogicaldefenderlogical performance
发现论文，激发创造
  • 图像理解中的知识和推理整合

    本文综述了各种代表性的推理机制、知识整合方法及其相应的图像理解应用，讨论了结合外部知识与神经网络的关键技术，并探讨了提高推理能力的潜在途径。

    Jun, 2019

  • 逻辑约束下的深度学习

    本文综述了利用逻辑指定的背景知识以获取性能更好、学习数据更少或保证符合背景知识的神经模型的研究，并根据表达背景知识的逻辑语言和实现目标进行分类。

    May, 2022

  • 超越语言：从图片中学习常识进行推理

    本文提出了一种从图像中学习常识的新方法，利用双模态序列到序列模型进行场景布局生成任务，并在通感问题回答和代词消解领域实验中证明了新方法的有效性。

    Oct, 2020

  • 基于场景图的常识知识在文本环境中的应用

    本文研究了在文本游戏中使用基于视觉数据集得到的常识推理有助于提高游戏 AI 效率的优势，对比了空间关系的统计信息并在常识推理任务中进行验证实验，结果表明该方法优于现有最先进的方法。

    Oct, 2022

  • 将常识推理和知识获取结合，为机器人的深度学习提供指导

    该论文提出了一种基于认知系统的深度网络模型，以探索深度网络模型内部表示和推理机制的知识表示、推理和学习挑战，并通过使用空间关系的接地和递增式的学习，以及基于非单调逻辑推理和基础常识域知识的决策，实现对场景中物品遮挡和稳定性的推理，通过识别与任务相关的图像区域训练深度网络模型来提高决策的可靠性和减少相关的训练工作量。

    Jan, 2022

  • 通过多图像生成改善语言模型中的视觉常识

    基于多模态知识的常识推理是根本，我们介绍了一种方法来增强大型语言模型的视觉常识能力，该方法通过生成多个图像并将其与模型的决策过程相融合来提供综合的图像和文本知识。这种方法在不仅在视觉常识上，还在传统自然语言处理基准上优于现有基线模型。

    Jun, 2024

  • 基于视觉的常识知识获取

    CLEVER 是一种利用视觉感知中蕴含的 commonsense 知识，在不需要人类对图像实例进行注释的情况下，通过远程监督的多实例学习问题，从图像中提取 commonsense 知识的方法。实验结果表明，CLEVER 可以提取有质量的 commonsense 知识。

    Nov, 2022

  • CommonsenseVIS: 自然语言模型的常识推理能力可视化与理解

    利用外部常识知识库将模型行为与人类知识对齐，并通过多层次可视化和交互式模型探索和编辑，帮助自然语言处理专家在不同场景中对模型的概念关系推理进行系统且可扩展的可视化分析。

    Jul, 2023

  • 逻辑驱动的上下文扩展和数据增强用于文本逻辑推理

    本研究提出了一种理解文本中逻辑符号和表达式以得出答案的方法，并基于此提出了一种扩展文本上下文的框架和一种数据增广算法，可以更好地捕捉逻辑信息，特别是关于逻辑否定和条件关系，结果表明这种方法在 ReClor 数据集上实现了最先进的性能，多模型集成系统是第一个在 ReClor 的 EASY 和 HARD 数据集上超过人类表现的系统。

    May, 2021

  • 基于事实的逻辑推理

    本研究提出了一种基于自然逻辑单元和事实推导方法的超图构建和问题回答方法，得到了较好的实验结果。

    May, 2021