May, 2023

面向表格和文本混合数值推理的全面解决方案程序化预训练

PDF
TL;DR本文提出了三个预训练任务，具体包括：变量完整性排名（Variable Integrity Ranking）；变量操作符预测（Variable Operator Prediction）；变量关键词屏蔽（Variable Keyphrase Masking）并应用这些任务对数字推理进行建模，结果表明这种方法比基于 Transformer 的模型胜出，对金融报表等表格和文本混合结构进行数字推理具有较高的效果。
numerical reasoningtable-and-text hybrid passagespretraining tasksfinancial reportstransformer-based model
发现论文，激发创造
  • 提高预训练语言模型的数值推理能力

    提出了一种新的推理感知预训练方法，使用对比学习将另一种数字表示形式纳入预训练模型，通过基于推理的数字预测任务训练来提高其数值推理能力，实验结果表明该方法在需要数值推理的任务上能够提高准确性，并且人类评估显示该方法能够提高数据集上的事实正确性。

    May, 2022

  • 探索语言模型的数值推理能力：对表格数据进行综合分析

    这篇论文提出了一个层次化的数值推理技能分类法，涵盖四个级别的十多种推理类型。通过对先进模型进行全面评估，并开发了一组多样化的数值探针，论文发现在所有数值推理类型中，FlanT5（无 / 少数据）和 GPT-3.5（少数据）相对其他模型表现出强大的整体数值推理技能。标签颠倒探针表明模型经常利用数据集的特征来预测正确的标签。

    Nov, 2023

  • 针对 FinQA 的数值推理的鲁棒优化长文本到数学模型

    本文提出了一种使用不同专业能力的模型进行融合的方法，以解决财务问题的数字推理任务，并在 FinQA 挑战赛中获得了第一名，执行准确率为 71.93％，程序准确率为 67.03％。

    Jun, 2022

  • 朝向与问题格式无关的数值推理：一套必备任务

    介绍了一个多方面的基准测试 NUMBERGAME 来评估八种不同形式的数值推理任务的模型绩效，并需具有探测数据中的问题格式，查找中间常见格式，加入常识知识和解决不同格式数据不平衡的能力。同时，构建了多个基线模型，包括一个基于作弊纸的知识狩猎模型。但所有基线模型都表现较差，说明了该基准测试的难度。

    May, 2020

  • NT5?! 训练 T5 进行数字推理

    通过五个顺序训练计划，我们使用一种预先培训的 T5 模型适应 NRoT，并在三个数据集上进行进一步训练以增强 NRoT 的技能并在 DROP 数据集上进行微调。我们的模型通过训练 T5 多任务框架以及多个不断增加难度的数字推理数据集，展现了较好的 DROP 性能表现。

    Apr, 2021

  • NAPG: 混合表格 - 文本问答非自回归程序生成

    通过提出一种非自回归程序生成框架，可以同时独立生成包含运算符和操作数的完整程序元组，从而显着提高程序生成速度，同时解决了误差积累问题，实验结果显示在 MultiHiertt 数据集上，我们的模型比强基准模型有很大的改进（+7.97EM 和 + 6.38F1 分），并且在程序生成方面速度更快（21 倍），同时我们的方法在增加数值推理步骤的情况下性能的下降也显着小于基线模型。

    Nov, 2022

  • 将数字推理技能注入语言模型

    通过在大量数据集上进行多任务训练，我们展示了数值推理可以注入到预训练的语言模型中，使性能得到显著提高。在一个简单通用的 encoder-decoder 架构上训练，我们的模型 GenBERT 在 DROP 数据集上的性能可以达到与同等规模的最先进模型相媲美，同时在数学单词问题数据集上保持高性能，这种方法为延展技能到大型预训练语言模型提供了一般的解决方案。

    Apr, 2020

  • 预训练几乎就是你所需要的：应用于常识推理

    本研究提出一种基于预训练 transformer 模型的全文格式的可信度排名得分方法，无需微调即可产生强大的基线，可以为通识推理任务提供更加稳定和有效的训练解决方案。

    Apr, 2020

  • 基于图形编码器和树形解码器的表格 - 文本混合内容中的数值推理问题回答

    本文提出了一种关系图增强型的混合表文本数值推理模型，将表 - 文本混合内容的数值问题回答建模为表达式树生成任务，并在公开基准测试中验证了其性能。

    Sep, 2022

  • 一种细粒度召回器和多器生成器集成的金融问答数值推理系统

    本研究提出了一种针对金融文本和表格数据的数字推理问题回答系统，该系统包括检索器模块、生成器模块和集成模块。在私人测试集上的表现可达 69.79 个执行精度。

    Jun, 2022