Jul, 2022

一种基于 DeBERTa 的新型金融问答模型

PDF
TL;DR该文介绍了基于 DeBERTa 预训练语言模型的金融问答系统在 FinQA 挑战赛中的应用，通过多模型融合和训练集组合等优化方法，输出准确度达到 68.99，程序准确度达到 64.53，排名第四。
q&a systemsfinancial scenarionumerical reasoningdebertafinqa challenge
发现论文，激发创造
  • GPT-3 模型是小样本金融推理器

    金融分析是评估公司绩效的重要工具，而金融问题回答是需要对数字进行深入推理的问答任务。最近的研究发现，使用大型语言模型如 GPT-3 进行财务领域的推理仍需要相关事实的检索模型和逻辑引擎，特别是由于金融问题的精确性和金融文档中存储的复杂信息。在此基础上，我们在 GPT-3 上采用改进的提示工程方法，实现了接近最先进的准确性，而无需进行任何精调。

    Jul, 2023

  • ConvFinQA：探索在金融问答中的数字推理链

    本研究旨在探讨大规模预训练语言模型在金融领域中实现数值推理的挑战，提出了一个新的大规模数据集 ConvFinQA，对其进行了综合性实验和分析，为研究实际世界中复杂推理任务提供新的资源。

    Oct, 2022

  • 基于案例推理的金融问答解决方法

    通过引入案例推理和扩展案例库，我们提出了一种用于解决金融文档中的数字推理问题的新方法，该方法在 FinQA 数据集上表现出竞争性能，并显示出了复杂多步骤程序的解决能力。

    May, 2024

  • FinQA: 金融数据上的数值推理数据集

    为了解决金融领域中财务报表分析的难题，本文提出了一个新的数据集 FinQA，并进行了广泛的实验。实验结果显示预训练模型在金融知识和复杂多步骤的数值推理方面远远不及专家人类。这个新的数据集应该为复杂应用领域的深入研究提供了可能性。

    Sep, 2021

  • FinTextQA：长文本金融问答数据集

    该研究介绍了 FinTextQA，这是一个用于金融领域长篇问答的创新数据集，并开发了一个基于 RAG 的 LFQA 系统，通过多角度评估方法得出了在噪声环境下不同配置的 LFQA 系统的性能表现和模型对噪声的容忍度。

    May, 2024

  • 一种细粒度召回器和多器生成器集成的金融问答数值推理系统

    本研究提出了一种针对金融文本和表格数据的数字推理问题回答系统，该系统包括检索器模块、生成器模块和集成模块。在私人测试集上的表现可达 69.79 个执行精度。

    Jun, 2022

  • 针对 FinQA 的数值推理的鲁棒优化长文本到数学模型

    本文提出了一种使用不同专业能力的模型进行融合的方法，以解决财务问题的数字推理任务，并在 FinQA 挑战赛中获得了第一名，执行准确率为 71.93％，程序准确率为 67.03％。

    Jun, 2022

  • 关于对话式问答的技术报告

    使用 RoBERTa + AT + KD 模型，本文在 CoQA 数据集上进行对话问答，单模型达到 90.4 的 F1 得分，比现有最先进的单模型高 2.6%。

    Sep, 2019

  • BookQA: 挑战与机遇的故事

    本论文介绍了一个基于纯文本书籍进行问答的系统（BookQA），使用记忆网络对问题进行推理，并对前人的工作进行了改进，包括 BERT 检索和基于书句生成的预训练。在最新的 NarrativeQA 语料库的测试中，我们证明了这种方法的可行性和需要进行更多的研究，如文本表示，相关段落的检索和推理。

    Oct, 2019

  • 领域专属问答的检索增强生成

    为 Adobe 产品建立内部问答系统，提出了一种新的框架来编译大型问答数据库并发展了基于检索感知的大型语言模型微调方法，展示了微调检索器在最终生成中带来的重大改进，降低了生成过程中的幻觉并在上下文中保留了最新的检索信息以实现情境基础。

    Apr, 2024