EMNLPOct, 2020

从像素到语义框架到常识图谱的全栈视觉推理自然语言理由

PDF
TL;DR本文介绍了首个以生成自然语言解释为中心的研究，该研究关注复杂的视觉推理任务，包括视觉常识推理、视觉文本蕴含和视觉问答。文章提出了 Rationale^VT Transformer，该模型通过结合预训练的语言模型、对象识别、基于视觉的语义框架和视觉常识图生成自由文本解释，实现了全面的图像理解，并且实验证明，自然语言解释是用于复杂视觉 - 文本推理任务的一种具有前景的研究方向。
natural language rationalesvisual reasoning tasksrationale^vt transformervisual adaptationcomplex visual-textual reasoning tasks
发现论文，激发创造
  • 视觉推理与基础合理性：看、记住和推理

    该研究旨在通过模仿人类视觉问题解决中的 “看、记住、推理” 模式，引入基于视觉输入的原理来整合低级视觉能力，使现有的大型语言模型能够在视觉推理问题上取得竞争性表现。

    Jun, 2023

  • 自然语言视觉推理

    本论文提出了一个自然语言视觉推理的任务，通过图片和描述语句的配对，预测描述语句在给定场景中的真假。该任务涉及自然语言、机器人代理、语言输入、视觉推理以及合成图像等方面。

    Oct, 2017

  • 远程监督下非单调推理的理性化学习

    研究如何使用先前经过训练的语言模型、神经知识模型和相关任务的远程监督等，通过训练生成解释原因的生成模型来推断自然语言解释。然而，结果表明，由于神经语言模型的基本限制，该模型生成的解释仅限于具有普遍性的陈述，而在进行推理的同时预测更新或其类型和生成理由是更具挑战性的，这是未来的重要方向。

    Dec, 2020

  • 说服性的视觉问答推理理由

    通过对图像和问题对的预测答案生成视觉和文本理由，从而在零样本评估设置中实现了竞争性性能。

    Feb, 2024

  • 高效端到端视觉文档理解与根据聚类

    通过小型的预训练图像到文本模型，我们在像素级视觉语言理解的端到端模型中学习选择性文本或布局识别和推理，取得了在信息图表、扫描文档和图像三个视觉文档理解基准中的一致性改进，超过直接预测答案的相似 Pix2Struct 模型 4% 以上。

    Nov, 2023

  • 无锁多方面文本分类理性化

    本文提出了一种多阶段培训方法，将自我监督对比损失纳入其中，并证明可以帮助生成更多语义多样的理性化解释，从而改善了啤酒评论数据集的实验结果，并解决了互锁问题。

    May, 2022

  • Few-shot 合理化自我训练：教师解释帮助学生进行 Few-shot NLU

    利用自训练语言模型进行多任务教师 - 学生框架，在有限的任务特定标签和理由下，通过精心选择样本学习信息伪标签示例以及明确合理化预测的特征，显著提高了神经模型的性能，特别在低资源环境中表现出有效性。

    Sep, 2021

  • REX：基于推理和实证的解释

    本文旨在提高可信的 AI 系统的有效性和可解释性，定义一个新类型的多模态解释来解释决策，并提出一种新的解释生成方法，可以显式地模拟词语和感兴趣的区域之间的配对关系，同时开发了一个包含 1040830 个多模态解释的新数据集以及进行了广泛的分析，以研究不同设置下解释的有效性和推理性能。

    Mar, 2022

  • 神经预测的理性化

    通过提取文本来生成短而连贯的理由 —— 根据规则确保足以做出准确预测的 —— 以代替不带理由的预测，该方法结合了生成器（分配文本碎片的候选理由）和编码器（用于预测）。从未给予判据，而是让模型符合对规则的要求。本文还在多方面情感分析和问题检索任务中成功验证了此方法。

    Jun, 2016

  • 图像文本生成的进展 —— 以自我合理化为案例研究

    探索多模态模型在联合图像和文本生成任务中的表现，并发现单一模型类型不能通用地在所有任务、数据集和微调数据大小上表现最佳，加深了对从图像和文本生成超越图像字幕的新型通用骨干方法的需求。

    May, 2022