Dec, 2019

CLOSURE: 评估 CLEVR 模型的系统泛化能力

PDF
TL;DR本文研究了当前用于处理 CLEVR 数据集的一些模型的泛化，提出了一种基于闭包基准测试的方法，结果显示，当前流行的模型在处理普遍化方面往往表现不佳；作者提出了一种新的向量模块神经网络体系结构，能够增强 NMN 模型的系统性泛化能力，并且研究了少样本转移学习对模型的影响。
clevr datasetreferring expressionsneural module networksystematic generalizationfew-shot transfer learning
发现论文，激发创造
  • 超级 CLEVR：诊断视觉推理领域鲁棒性的虚拟基准测试

    通过 Super-CLEVR 虚拟基准测试数据，我们研究了不同领域转移的因素，考察了四种现有的 VQA 方法，两种神经符号方法和两种非符号方法以及我们提出的方法 P-NSVQA，发现结合不确定性推理，将推理和感知分离形成一个强大的基于视觉与前因关系问题答案模型，可以更好地应对域迁移。

    Dec, 2022

  • CLEVR-Math: 用于复合语言、视觉和数学推理的数据集

    通过综合应用语言、视觉和数学推理，本文介绍了一个多模态数学问题数据集 CLEVR-Math，并应用最先进的神经模型和神经符号模型对其进行了实证研究，结果显示这两种方法都无法有效解决多模态数学问题。

    Aug, 2022

  • 早期融合和批次规范对 CLEVR 视觉问答中细节的影响

    本文研究了在 Visual QA 领域中取得强大性能的初馈聚合模型的复杂性，发现了一些架构上的要素对于其性能的关键作用，其中早期的语言 - 视觉融合是最为有效的，为此我们提出了一种称之为 “多模核” 的简单模块，旨在为多模任务提供基本操作。

    Sep, 2018

  • 测量 CLEVRness：对视觉推理模型的黑盒测试

    通过视觉问答框架和基于 CLEVR 的故障排除数据集，提出了一种双方游戏来评估视觉智能系统的推理能力，并探讨了数据驱动方法在没有利用数据集中的种种偏见的情况下是否可以进行推理。

    Feb, 2022

  • CLEVR-Ref+: 通过指称表达式诊断视觉推理

    该研究建立了 CLEVR-Ref + 合成数据集来评估当前流行模型在指代表达理解任务中的表现并提出了 IEP-Ref 模块化网络的方法来更好地理解中间推理过程，其中模块的行为得到了量化证明并展现了惊人的准确性。

    Jan, 2019

  • 基于场景图的图像检索 -- CLEVR 数据集的案例研究

    本研究论文提出了基于神经符号方法，利用场景图像来进行文本图像检索的解决方案，并训练了一种可学习的图匹配算法来实现检索任务，并实现了一个基于交互式问答的迭代检索框架。

    Nov, 2019

  • 长篇故事中的可微推理 —— 评估神经模型中的系统泛化能力

    在本文中，我们通过对多种神经网络模型的分析和实验，探讨了神经网络在面对训练数据分布之外的数据时出现的泛化问题。我们使用了 CLUTRR 作为基准工具，实现将小故事图上的训练结果泛化到更大的故事图上，探究了两类神经网络模型，即 “E-GNN” 和 “L-Graph”，并通过实验比较了这两类模型的性能。实验结果表明，改进后的递归神经网络在各种泛化任务中表现良好，优于改进后的图神经网络模型，而后者则更具有鲁棒性。

    Mar, 2022

  • 系统性概括：所需和可学习性？

    比较了通用模型和模块化模型在系统化泛化方面的不同，发现模块化模型更具系统性，且高度敏感于模块排列方式，还探究了一些方法，结果表明，除了模块化，语言理解的系统泛化可能需要显式的正则化器或先验。

    Nov, 2018

  • CLEVR-X：自然语言解释的视觉推理数据集

    本文介绍了一个基于机器学习的可视化问答生成自然语言解释过程的方法，使用 CLEVR-X 数据集进行自然语言解释的基线结果分析，以及研究了不同问题和不同数量的真实解释对自然语言生成质量的影响。

    Apr, 2022

  • 神经语言模型中的语法推广的系统评估

    我们对神经语言模型的句法知识进行了系统评估，发现模型架构的不同对句法泛化性能产生了显著影响，而不同数据集大小的影响相对较低。

    May, 2020