通过利用跨模态特征和更有效的训练技术，加强了神经模块网络在视觉问答中的性能和透明度。

Oct, 2023

本文提出了一种分层的模块化网络来连接视频表示和语言语义，从实体级别、谓词级别和句子级别三个层次生成视频字幕，并在 MSVD 和 MSR-VTT 基准测试中表现优异。

Nov, 2021

通过引入能够对文本段进行推理的组件、以概率性和可微分的方式执行数字和日期等符号推理的组件，提出了一种改进的神经模块网络（NMNs）模型，提高了非合成问题的预测效果，实验结果表明，该模型在 DROP 数据集上取得了显著的性能提升。

Dec, 2019

本研究提出了一种新的基于神经网络的问题回答方法，使用 End-to-End Module Networks 技术，学习直接预测特定问题网络图层，该方法相对于现有最先进的注意力方法实现了近 50％的误差减少，特别针对 CLEVR 数据集。

Apr, 2017

人工智能的一个关键方面是想象力，即以新颖的方式组合学习的概念，以理解新的情境。本研究展示了如何利用模块化和想象力创建一个基于物体的组合神经模块网络（OC-NMN）框架，用于视觉推理和生成任务，并证明该方法可以带来更好的非分布式泛化性能。

Oct, 2023

通过学习协同神经模块（CNM）来生成连接视觉编码器和语言解码器的内部模式，进而生成图像说明，实验结果显示新的 CNM 方法在图像说明领域达到了最先进水平。

Apr, 2019

提出了一个新的基于语义推理网络的端到端的可训练框架，用于场景文本识别，其中引入了全局语义推理模块来通过多向并行传输捕获全局语义内容，具有比基于循环神经网络方法更快的速度。该方法在包括正常文本、不规则文本和非拉丁长文本在内的 7 个公共基准上取得了最先进的结果，验证了其有效性和鲁棒性。

Mar, 2020

本论文提出了 Video-grounded Neural Module Network (VGNMN) 用于建模视频数据的信息提取过程，并在视频场景下的对话任务和视频问答基准测试上展示了良好的性能表现。

Apr, 2021

本文介绍了一种基于组合神经模块网络和分层框架的图像字幕方案，探索了自然语言的组成和顺序性，选择性地关注输入图像中每个检测到的对象的不同模块，以包括计数和颜色等特定描述，提出模型优于现有模型，结果表明我们的组成模块网络能够有效地生成准确和详细的图像字幕。

Jul, 2020

本文提出了一种基于多模态随机递归神经网络（MS-RNN）的生成式视频字幕方法，利用基于拉丁超立方采样（LHS）的随机采样方法解决给定视频的不确定性问题，支持不同的句子生成，实验结果显示该方法优于现有技术，并提高了视频字幕的性能。

Aug, 2017