EMNLPOct, 2023

阅读书籍很好，但驾车时不适合！关于非抗辩常识规范的视觉确定性推理

PDF
TL;DR解读可废除文明规范的视觉基准下的常识法则对机器来说是一项挑战，并提出一种通过提取大型语言模型中的社会常识知识来改善模型与人类对齐的新方法。
发现论文，激发创造
  • 基于视觉常识的人类中心 grounding 中的人物查找

    该研究介绍了一个新的人类常识任务，人类中心共识基础，并创建了一个数据集 HumanCog，并开发了一种强有力的基线方法，强调了丰富的视觉常识和多模式集成的重要性，并提出了未来的工作方向。

    Dec, 2022

  • 基于视觉的常识知识获取

    CLEVER 是一种利用视觉感知中蕴含的 commonsense 知识，在不需要人类对图像实例进行注释的情况下，通过远程监督的多实例学习问题，从图像中提取 commonsense 知识的方法。实验结果表明，CLEVER 可以提取有质量的 commonsense 知识。

    Nov, 2022

  • CommonsenseVIS: 自然语言模型的常识推理能力可视化与理解

    利用外部常识知识库将模型行为与人类知识对齐，并通过多层次可视化和交互式模型探索和编辑，帮助自然语言处理专家在不同场景中对模型的概念关系推理进行系统且可扩展的可视化分析。

    Jul, 2023

  • ConTextual: 大型多模态模型中的上下文敏感的文本丰富视觉推理评估

    AI 研究纸提出了 ConTextual，它是一个新颖的基准测试，旨在评估 LMM 在上下文敏感的文本丰富的视觉推理方面的能力，发现最佳表现的 LMM 与人类能力存在 30.8％的性能差距，表明上下文敏感的文本丰富的视觉推理仍有改进空间。

    Jan, 2024

  • 通过多图像生成改善语言模型中的视觉常识

    基于多模态知识的常识推理是根本，我们介绍了一种方法来增强大型语言模型的视觉常识能力，该方法通过生成多个图像并将其与模型的决策过程相融合来提供综合的图像和文本知识。这种方法在不仅在视觉常识上，还在传统自然语言处理基准上优于现有基线模型。

    Jun, 2024

  • 不要只听，动动脑筋：利用视觉常识解决非视觉任务

    该论文探讨了图像中的视觉常识如何有助于文本任务，包括填空和视觉改写，并提出基于视觉的场景做为辅助实现对这些问题的回答，该方法表现优于基于文字的方案。

    Feb, 2015

  • 基于场景图的常识知识在文本环境中的应用

    本文研究了在文本游戏中使用基于视觉数据集得到的常识推理有助于提高游戏 AI 效率的优势，对比了空间关系的统计信息并在常识推理任务中进行验证实验，结果表明该方法优于现有最先进的方法。

    Oct, 2022

  • 认知机器人的常识场景语义：走向基于视觉 - 运动相互作用的根源

    本文提出了一个基于人类重心的空间和运动表示的低层次视觉处理与高层次人类中心的空间和运动表示相结合的方法来解决物体交互和室内运动等问题。

    Sep, 2017

  • 检索、字幕、生成：视觉基础为文本生成模型增强常识

    本研究探讨了利用图像中的多模态信息增强文本生成 Transformer 模型通用知识的有效方法。我们使用 BART 和 T5 进行了实验，并通过 VisCTG 方法成功地改善了通用知识、流畅性和特定性等问题的基线文本生成模型。

    Sep, 2021

  • 超越语言：从图片中学习常识进行推理

    本文提出了一种从图像中学习常识的新方法，利用双模态序列到序列模型进行场景布局生成任务，并在通感问题回答和代词消解领域实验中证明了新方法的有效性。

    Oct, 2020