学会推理：端到端模块化网络用于视觉问答

Apr, 2017

学会推理：端到端模块化网络用于视觉问答

Learning to Reason: End-to-End Module Networks for Visual Question Answering

Ronghang Hu, Jacob Andreas, Marcus Rohrbach, Trevor Darrell, Kate Saenko

TL;DR本研究提出了一种新的基于神经网络的问题回答方法，使用 End-to-End Module Networks 技术，学习直接预测特定问题网络图层，该方法相对于现有最先进的注意力方法实现了近 50％的误差减少，特别针对 CLEVR 数据集。

Abstract

Natural language questions are inherently compositional, and many are most easily answered by reasoning about their decomposition into modular sub-problems. For example, to answer "is there an equal number of balls and boxes?" we can look for balls, look for boxes, count them, and compare the results. The recently proposed →

neural module network question answering end-to-end module networks network structures clevr dataset

发现论文，激发创造

神经模块网络用于文本推理

通过引入能够对文本段进行推理的组件、以概率性和可微分的方式执行数字和日期等符号推理的组件，提出了一种改进的神经模块网络（NMNs）模型，提高了非合成问题的预测效果，实验结果表明，该模型在 DROP 数据集上取得了显著的性能提升。

Dec, 2019

教师引导的组合视觉推理的多模态表示

通过利用跨模态特征和更有效的训练技术，加强了神经模块网络在视觉问答中的性能和透明度。

Oct, 2023

教授神经模块网络进行算术运算

该研究通过构建可训练模块的编程 - 解释器框架，增加加减法模块，弥补了神经模块网络在多类型、数字推理方面的能力，实验证明该方法提高了 F1 值，表现优于现有模型。

Oct, 2022

神经模块网络

通过构建和学习神经模块网络，同时利用深度网络的表示能力和问题的组成语言结构，将问题分解成语言子结构，并使用这些结构动态实例化模块化网络，在具有挑战性的视觉问题回答数据集上取得了最先进的结果。

Nov, 2015

组合视觉推理的元模块网络

通过提出 Meta Module Network，该论文致力于解决 Neural Module Network 包括扩展性和泛化性等局限性，并在 GQA 和 CLEVR 数据集上进行实验证明了该模型的优越性。

Oct, 2019

从组合神经网络中获取忠实的解释

本研究提出采用辅助监督和特定的模块结构开发神经模块网络，解决了在 NLVR2 和 DROP 数据集上多次组合推理步骤问题导致的预期输出和实际中间输出不匹配的问题，并且不会对准确性产生太大的影响。

May, 2020

基于堆栈神经模块网络的可解释神经计算

本研究提出一种新颖的神经模块化方法来实现基于组合推理的问题回答，该方法不需要强监督，能自动诱导期望的子任务分解并通过共享模块链接不同的推理任务，实验表明该模型比当前先进模型更易于人类评估者解释以及预测其中间结果的成功或失败。

Jul, 2018

组合视觉推理的课程学习

本研究提出了基于预定义跨模态嵌入的神经模块网络方法，以 “热启动” 学习 GQA 数据集，进而采用课程学习作为一种改进训练和更好利用数据的方法，在训练期间引入中间损失，并发现这可以简化课程学习策略。多个困难标准用于定义课程学习方法，该研究表明，适当选择课程学习方法可以大大降低训练成本和训练数据量，并对最终视觉问答准确性影响有限。

Mar, 2023

学习组合神经网络用于问题回答

本文介绍一种基于自然语言字符串的问答模型，适用于图像和结构化知识库，通过可组合模块自动组装神经网络，并通过强化学习来学习这些模块的参数，同时只需要（世界、问题、答案）三元组作为监督，我们的方法（称为动态神经模型网络）在视觉和结构化领域的基准数据集上取得了最先进的结果。

Jan, 2016

门控端到端记忆网络

本文提出了一种新的、受计算机视觉中连接快捷原则启发的端到端可训练内存网络 (End-to-End trainable Memory Networks) 结构 ——Gated End-to-End trainable Memory Networks (GMemN2N)，该结构无需使用任何额外的监督信号，可以显著提高 20 bAbI 数据集的最具挑战性的任务和真人机器人对话 (DSTC-2) 数据集。

Oct, 2016