EMNLPOct, 2019

NumNet: 数值推理的机器阅读理解

PDF
TL;DR提出了一个名为 NumNet 的数值 MRC 模型，它利用带数值意识的图神经网络，考虑问题和段落中数字上的比较信息，从而执行数值推理，理解人类阅读理解中的关键技能。在 DROP 数据集上，我们的系统取得了 EM 得分 64.56％，优于所有现有的机器阅读理解模型，这是因为我们考虑了数字之间的数值关系。
numerical reasoningmachine reading comprehensionnumnetgraph neural networknumerical relations
发现论文，激发创造
  • 机器阅读理解任务中的数值推理：我们已经到达了吗？

    本文研究了针对数字推理任务的自然语言处理模型表现，并发现现有的评估指标无法有效测量模型在这一任务上的进展。

    Sep, 2021

  • 面向文本的数值推理问题导向图注意力网络

    提出了一种异构图表示，驱动多步骤的基于问题的图注意力网络，用于完成机器阅读理解中的数字推理任务，具有自然语言理解和算术计算的双重要求。

    Sep, 2020

  • 教授神经模块网络进行算术运算

    该研究通过构建可训练模块的编程 - 解释器框架，增加加减法模块，弥补了神经模块网络在多类型、数字推理方面的能力，实验证明该方法提高了 F1 值，表现优于现有模型。

    Oct, 2022

  • 探索语言模型的数值推理能力：对表格数据进行综合分析

    这篇论文提出了一个层次化的数值推理技能分类法，涵盖四个级别的十多种推理类型。通过对先进模型进行全面评估，并开发了一组多样化的数值探针，论文发现在所有数值推理类型中，FlanT5（无 / 少数据）和 GPT-3.5（少数据）相对其他模型表现出强大的整体数值推理技能。标签颠倒探针表明模型经常利用数据集的特征来预测正确的标签。

    Nov, 2023

  • 提高预训练语言模型的数值推理能力

    提出了一种新的推理感知预训练方法，使用对比学习将另一种数字表示形式纳入预训练模型，通过基于推理的数字预测任务训练来提高其数值推理能力，实验结果表明该方法在需要数值推理的任务上能够提高准确性，并且人类评估显示该方法能够提高数据集上的事实正确性。

    May, 2022

  • 教模型在理解文档后回答问题

    提出了一种两阶段知识蒸馏方法，通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档，实验结果表明，使用该方法装备的学生模型具有显著的改进，证明了该方法的有效性。

    Jul, 2023

  • 机器数感：一组用于抽象和关系推理的视觉算术问题数据集

    为了将关键的认知能力赋予机器智能，本文提出一个新的数据集，即机器数理感知 (MNS)，其由采用 And-Or Graph (AOG) 语法模型自动生成的视觉算术问题组成，提出结合经典搜索算法和现代神经网络的方法，以更好地理解数字概念和关系运算。

    Apr, 2020

  • 朝向与问题格式无关的数值推理：一套必备任务

    介绍了一个多方面的基准测试 NUMBERGAME 来评估八种不同形式的数值推理任务的模型绩效，并需具有探测数据中的问题格式，查找中间常见格式，加入常识知识和解决不同格式数据不平衡的能力。同时，构建了多个基线模型，包括一个基于作弊纸的知识狩猎模型。但所有基线模型都表现较差，说明了该基准测试的难度。

    May, 2020

  • 神经机器阅读理解：方法与趋势

    本文综述了深度学习在机器阅读理解 (MRC) 中的应用，包括典型的 MRC 任务、神经网络 MRC 的体系结构和新兴领域。文章指出了未来需要解决的问题。

    Jul, 2019

  • 将数字推理技能注入语言模型

    通过在大量数据集上进行多任务训练，我们展示了数值推理可以注入到预训练的语言模型中，使性能得到显著提高。在一个简单通用的 encoder-decoder 架构上训练，我们的模型 GenBERT 在 DROP 数据集上的性能可以达到与同等规模的最先进模型相媲美，同时在数学单词问题数据集上保持高性能，这种方法为延展技能到大型预训练语言模型提供了一般的解决方案。

    Apr, 2020