EMNLPSep, 2021

FinQA: 金融数据上的数值推理数据集

PDF
TL;DR为了解决金融领域中财务报表分析的难题，本文提出了一个新的数据集 FinQA，并进行了广泛的实验。实验结果显示预训练模型在金融知识和复杂多步骤的数值推理方面远远不及专家人类。这个新的数据集应该为复杂应用领域的深入研究提供了可能性。
financial data analysisnumerical reasoningquestion-answeringfinance domaindataset
发现论文，激发创造
  • ConvFinQA：探索在金融问答中的数字推理链

    本研究旨在探讨大规模预训练语言模型在金融领域中实现数值推理的挑战，提出了一个新的大规模数据集 ConvFinQA，对其进行了综合性实验和分析，为研究实际世界中复杂推理任务提供新的资源。

    Oct, 2022

  • 文档理财问答：一个长文本金融推理数据集

    在金融领域的定量推理研究中，由于商业和金融决策的重大影响，确实需要使用现实任务和数据。我们引入了一项长文档金融问答任务，通过在现有的 FinQA 数据集中添加完整文档的背景，将每个问题的平均上下文长度从 FinQA 的 700 个单词扩展到 DocFinQA 的 123k 个单词。我们对增强数据进行了广泛的基于检索的问答流程和长上下文语言模型的实验。结果表明，对于最强大的最先进系统来说，DocFinQA 提供了挑战。

    Jan, 2024

  • FinTextQA：长文本金融问答数据集

    该研究介绍了 FinTextQA，这是一个用于金融领域长篇问答的创新数据集，并开发了一个基于 RAG 的 LFQA 系统，通过多角度评估方法得出了在噪声环境下不同配置的 LFQA 系统的性能表现和模型对噪声的容忍度。

    May, 2024

  • FormulaQA：一个基于公式的数值推理问答数据集

    通过使用存在的公式驱动的 FormulaQA 数据集，得出了使用检索增强的 LLMs 模型结合外部公式数据库时对现有模型具有重要改进潜力的实证结果。

    Feb, 2024

  • 针对 FinQA 的数值推理的鲁棒优化长文本到数学模型

    本文提出了一种使用不同专业能力的模型进行融合的方法，以解决财务问题的数字推理任务，并在 FinQA 挑战赛中获得了第一名，执行准确率为 71.93％，程序准确率为 67.03％。

    Jun, 2022

  • 一种细粒度召回器和多器生成器集成的金融问答数值推理系统

    本研究提出了一种针对金融文本和表格数据的数字推理问题回答系统，该系统包括检索器模块、生成器模块和集成模块。在私人测试集上的表现可达 69.79 个执行精度。

    Jun, 2022

  • MarkQA：一个具有数值推理的大规模知识库问答数据集

    本文提出了一个新的任务，NR-KBQA，它需要进行多跳推理和数值推理。我们使用 Python 格式的逻辑形式 PyQL 设计了数值推理问题的推理过程，并提供了一个名为 MarkQA 的大型数据集，用于促进 NR-KBQA 的开发。实验结果表明，在 MarkQA 上进行复杂的数值推理在 KBQA 中面临巨大挑战。

    Oct, 2023

  • 财务报表的数值推理

    财务报告通过分析公司的运营情况提供重要见解，但通常长度过长，约 30 至 40 页，对于动态市场的快速决策提出了挑战。为解决这个问题，我们利用经过微调的大型语言模型（LLM）从用户提出的问题中提炼关键指标和运营指标。我们设计了一种定位关键数据的方法，并利用 FinQA 数据集对 Llama-2 7B 和 T5 模型进行微调，以进行定制化问答。在最终的数值回答上取得了与基准相当的结果，在数值推理和计算上具有竞争力的准确性。

    Dec, 2023

  • 基于案例推理的金融问答解决方法

    通过引入案例推理和扩展案例库，我们提出了一种用于解决金融文档中的数字推理问题的新方法，该方法在 FinQA 数据集上表现出竞争性能，并显示出了复杂多步骤程序的解决能力。

    May, 2024

  • NOAHQA: 可解释计算图的数值推理问答数据集

    介绍一个双语问答数据集 NOAHQA，旨在解决目前数值推理问题缺乏复杂问题以及提供推理过程的可解释性问题，通过使用 NOAHQA 数据集，开发了一个可解释的推理图，并提出了适当的评估指标来衡量答案质量。在 NOAHQA 上对现有 QA 模型进行评估，表明人类表现为 89.7，最好的 QA 模型只能达到 55.5 的准确匹配分数。

    Sep, 2021