COLINGOct, 2022

教授神经模块网络进行算术运算

PDF
TL;DR该研究通过构建可训练模块的编程 - 解释器框架，增加加减法模块，弥补了神经模块网络在多类型、数字推理方面的能力，实验证明该方法提高了 F1 值，表现优于现有模型。
neural module networksmulti-type reasoningnumerical reasoningprogramming-interpreter frameworkdrop dataset
发现论文，激发创造
  • 神经模块网络用于文本推理

    通过引入能够对文本段进行推理的组件、以概率性和可微分的方式执行数字和日期等符号推理的组件，提出了一种改进的神经模块网络（NMNs）模型，提高了非合成问题的预测效果，实验结果表明，该模型在 DROP 数据集上取得了显著的性能提升。

    Dec, 2019

  • 学会推理：端到端模块化网络用于视觉问答

    本研究提出了一种新的基于神经网络的问题回答方法，使用 End-to-End Module Networks 技术，学习直接预测特定问题网络图层，该方法相对于现有最先进的注意力方法实现了近 50％的误差减少，特别针对 CLEVR 数据集。

    Apr, 2017

  • 教师引导的组合视觉推理的多模态表示

    通过利用跨模态特征和更有效的训练技术，加强了神经模块网络在视觉问答中的性能和透明度。

    Oct, 2023

  • 神经网络能做算术吗？对当今深度学习模型基本数学技能的调查

    本文回顾了近年来关于深度学习在数学领域的研究，认为当前即使是最先进的深度学习模型在面对简单的数学和算术任务时也表现出较大局限性。

    Mar, 2023

  • 神经模型的数学推理能力分析

    该研究针对数学领域中的推理、学习、应用规则等独特挑战，提出了一个数学问题套件的任务，用于测试和评估神经架构等系统的性能、能力和失效模式。通过生成数据并运用序列到序列的最强模型，可以从不同角度评估模型在数学问题解决和知识推广方面的能力。

    Apr, 2019

  • NumNet: 数值推理的机器阅读理解

    提出了一个名为 NumNet 的数值 MRC 模型，它利用带数值意识的图神经网络，考虑问题和段落中数字上的比较信息，从而执行数值推理，理解人类阅读理解中的关键技能。在 DROP 数据集上，我们的系统取得了 EM 得分 64.56％，优于所有现有的机器阅读理解模型，这是因为我们考虑了数字之间的数值关系。

    Oct, 2019

  • 神经算术单元

    论文介绍了两个新的神经网络组件：神经加法单元（NAU）和神经乘法单元（NMU），这两个组件都可以学习实现精确的算术运算，并且相比以前的神经网络单元， 它们收敛更一致，参数更少，学习速度更快，并且在处理稀疏数据时有意义性。

    Jan, 2020

  • 将数字推理技能注入语言模型

    通过在大量数据集上进行多任务训练，我们展示了数值推理可以注入到预训练的语言模型中，使性能得到显著提高。在一个简单通用的 encoder-decoder 架构上训练，我们的模型 GenBERT 在 DROP 数据集上的性能可以达到与同等规模的最先进模型相媲美，同时在数学单词问题数据集上保持高性能，这种方法为延展技能到大型预训练语言模型提供了一般的解决方案。

    Apr, 2020

  • 提高预训练语言模型的数值推理能力

    提出了一种新的推理感知预训练方法，使用对比学习将另一种数字表示形式纳入预训练模型，通过基于推理的数字预测任务训练来提高其数值推理能力，实验结果表明该方法在需要数值推理的任务上能够提高准确性，并且人类评估显示该方法能够提高数据集上的事实正确性。

    May, 2022

  • 从组合神经网络中获取忠实的解释

    本研究提出采用辅助监督和特定的模块结构开发神经模块网络，解决了在 NLVR2 和 DROP 数据集上多次组合推理步骤问题导致的预期输出和实际中间输出不匹配的问题，并且不会对准确性产生太大的影响。

    May, 2020