Dec, 2022

APOLLO: 一种优化的长文数值推理训练方法

PDF
TL;DR提出了 APOLLO 来改进长格式数字推理框架，采用数值感知负采样策略来使检索器对关键数字事实更具有区分度，并基于程序执行结果的一致性设计了一致性强化学习和目标程序增强策略，实验结果验证了其有效性。
long-form numerical reasoningapolloretriever-generator frameworknumerical factsconsistency-based reinforcement learning
发现论文，激发创造
  • APOLLO: 适应性预训练逻辑推理语言模型的简单方法

    本文提出了一个适应性预训练语言模型 APOLLO，使用特定的逻辑推理关键词来选择维基百科的子集进行预训练，使用自我监督损失函数进行训练，无需特定的任务格式，与基线模型相比，在逻辑推理数据集上表现相当或更好。

    Dec, 2022

  • 针对 FinQA 的数值推理的鲁棒优化长文本到数学模型

    本文提出了一种使用不同专业能力的模型进行融合的方法，以解决财务问题的数字推理任务，并在 FinQA 挑战赛中获得了第一名，执行准确率为 71.93％，程序准确率为 67.03％。

    Jun, 2022

  • 一种细粒度召回器和多器生成器集成的金融问答数值推理系统

    本研究提出了一种针对金融文本和表格数据的数字推理问题回答系统，该系统包括检索器模块、生成器模块和集成模块。在私人测试集上的表现可达 69.79 个执行精度。

    Jun, 2022

  • 提高预训练语言模型的数值推理能力

    提出了一种新的推理感知预训练方法，使用对比学习将另一种数字表示形式纳入预训练模型，通过基于推理的数字预测任务训练来提高其数值推理能力，实验结果表明该方法在需要数值推理的任务上能够提高准确性，并且人类评估显示该方法能够提高数据集上的事实正确性。

    May, 2022

  • ConvFinQA：探索在金融问答中的数字推理链

    本研究旨在探讨大规模预训练语言模型在金融领域中实现数值推理的挑战，提出了一个新的大规模数据集 ConvFinQA，对其进行了综合性实验和分析，为研究实际世界中复杂推理任务提供新的资源。

    Oct, 2022

  • 探索语言模型的数值推理能力：对表格数据进行综合分析

    这篇论文提出了一个层次化的数值推理技能分类法，涵盖四个级别的十多种推理类型。通过对先进模型进行全面评估，并开发了一组多样化的数值探针，论文发现在所有数值推理类型中，FlanT5（无 / 少数据）和 GPT-3.5（少数据）相对其他模型表现出强大的整体数值推理技能。标签颠倒探针表明模型经常利用数据集的特征来预测正确的标签。

    Nov, 2023

  • 财务报表的数值推理

    财务报告通过分析公司的运营情况提供重要见解，但通常长度过长，约 30 至 40 页，对于动态市场的快速决策提出了挑战。为解决这个问题，我们利用经过微调的大型语言模型（LLM）从用户提出的问题中提炼关键指标和运营指标。我们设计了一种定位关键数据的方法，并利用 FinQA 数据集对 Llama-2 7B 和 T5 模型进行微调，以进行定制化问答。在最终的数值回答上取得了与基准相当的结果，在数值推理和计算上具有竞争力的准确性。

    Dec, 2023

  • 朝向与问题格式无关的数值推理：一套必备任务

    介绍了一个多方面的基准测试 NUMBERGAME 来评估八种不同形式的数值推理任务的模型绩效，并需具有探测数据中的问题格式，查找中间常见格式，加入常识知识和解决不同格式数据不平衡的能力。同时，构建了多个基线模型，包括一个基于作弊纸的知识狩猎模型。但所有基线模型都表现较差，说明了该基准测试的难度。

    May, 2020

  • 基于案例推理的金融问答解决方法

    通过引入案例推理和扩展案例库，我们提出了一种用于解决金融文档中的数字推理问题的新方法，该方法在 FinQA 数据集上表现出竞争性能，并显示出了复杂多步骤程序的解决能力。

    May, 2024

  • FinLLMs：用大型语言模型生成金融推理数据集的框架

    基于大型语言模型，通过使用常见的金融公式生成金融问题回答数据，FinLLMs 方法提供一种解决数据资源有限和注释成本高昂问题的方法。实验结果表明，由 FinLLMs 生成的合成数据有效地提升了金融领域几个大规模数值推理模型的性能，超过了两个常用基准金融问题回答数据集。

    Jan, 2024