AAAIJan, 2024

LongFin：面向长金融领域文档的多模态文档理解模型

PDF
TL;DR长表是一种能够编码多达 4K 个标记的多模态文件 AI 模型，它在广泛的金融数据集上表现出超越现有公共模型的性能，同时在现有单页基准测试上保持可比较的结果。
发现论文，激发创造
  • 文档理财问答：一个长文本金融推理数据集

    在金融领域的定量推理研究中，由于商业和金融决策的重大影响，确实需要使用现实任务和数据。我们引入了一项长文档金融问答任务，通过在现有的 FinQA 数据集中添加完整文档的背景，将每个问题的平均上下文长度从 FinQA 的 700 个单词扩展到 DocFinQA 的 123k 个单词。我们对增强数据进行了广泛的基于检索的问答流程和长上下文语言模型的实验。结果表明，对于最强大的最先进系统来说，DocFinQA 提供了挑战。

    Jan, 2024

  • FETILDA：长篇财经文本嵌入的有效调优框架

    我们提出并实现了一个利用预训练语言模型处理长文本文档的深度学习框架，将长文档分成块，并利用自注意力机制提取有价值的文档级特征，该框架在美国银行的 10-K 公开披露报告和其他美国公司提交的报告数据集上表现出色，是文本建模和回归模型的更好选择，利用预训练的领域特定和微调的模型在表示文本数据方面的效果较好，从而有助于提高预测分析的质量。

    Jun, 2022

  • 银行流程自动化的多模态文档分析

    本研究旨在通过理解先进的文档分析技术，特别是多模态模型，在银行业务的操作效率提升和应对金融科技竞争方面的潜力。通过综合分析多样化的银行文件环境，我们展示了通过自动化和高级分析技术在客户业务中提高效率的机会。借助自然语言处理领域的快速发展，我们阐明了在银行业领域分析各种文件的 LayoutXLM 等模型潜力。该模型可对德国公司注册文件进行文本标记分类，整体 F1 得分约为 80%。我们的实证证据证实了布局信息在提高模型性能方面的关键作用，并进一步强调了整合图像信息的好处。有趣的是，我们的研究表明，仅使用 30% 的训练数据就可以达到超过 75% 的 F1 得分，证明了 LayoutXLM 的高效性。通过解决最先进的文档分析框架，我们的研究旨在提高流程效率，展示多模态模型在银行业务中的实际适用性和好处。

    Jul, 2023

  • 金融知识大语言模型

    人工智能在金融行业取得了重大进展，通过自动化复杂任务、增强客户服务和提供详细的金融分析等方式改变了数据的处理和解释方式。本研究提出了 IDEA-FinBench、IDEA-FinKER 和 IDEA-FinQA，分别针对大型语言模型在金融领域的应用所进行的评估基准、知识增强框架和基于问答系统的应用方案。

    Jun, 2024

  • 利用 LLMs 从混合长文档中检索 KPI 的综合框架与数据集

    本文提出了一个基于自动化金融信息提取框架的研究，该框架可以提高大型语言模型在理解和提取来自复杂的混合文本数据类型，特别是金融报告中的信息，尤其是数字提取方面的准确性。与一个简单的方法相比，我们在 GPT-3.5 和 GPT-4 上进行了评估和实验证明了该框架的实际效果提升，平均准确性分别提升了 53.94% 和 33.77%。

    May, 2023

  • FinLLMs：用大型语言模型生成金融推理数据集的框架

    基于大型语言模型，通过使用常见的金融公式生成金融问题回答数据，FinLLMs 方法提供一种解决数据资源有限和注释成本高昂问题的方法。实验结果表明，由 FinLLMs 生成的合成数据有效地提升了金融领域几个大规模数值推理模型的性能，超过了两个常用基准金融问题回答数据集。

    Jan, 2024

  • FinTextQA：长文本金融问答数据集

    该研究介绍了 FinTextQA，这是一个用于金融领域长篇问答的创新数据集，并开发了一个基于 RAG 的 LFQA 系统，通过多角度评估方法得出了在噪声环境下不同配置的 LFQA 系统的性能表现和模型对噪声的容忍度。

    May, 2024

  • 金融中的大型语言模型：综述

    近期大规模语言模型 (LLM) 的发展在金融领域开创了人工智能应用的新可能性。本文提供了一份实用的调查报告，关注 LLM 在金融任务中的两个关键方面：现有解决方案和采用指南。首先，我们回顾了目前在金融领域中采用 LLM 的方法，包括通过零样本或少样本学习利用预训练模型，对领域特定数据进行微调，以及从头开始训练自定义 LLM。我们总结了关键模型并评估了它们在金融自然语言处理任务上的性能改进。其次，我们提出了一个决策框架，以帮助金融业专业人员根据数据、计算和性能需求选择合适的 LLM 解决方案。该框架提供了从轻量级实验到大规模投资自定义 LLM 的路径。最后，我们讨论了在金融应用中利用 LLM 所面临的限制和挑战。总的来说，该调查旨在综述最新技术并为负责任地应用 LLM 推动金融人工智能提供路线图。

    Sep, 2023

  • FinTral: GPT-4 级金融大语言模型家族

    介绍了一种名为 FinTral 的多模态大型语言模型套件，通过使用领域特定的预训练、指导微调和 RLAIF 训练等方法，结合文本、数值、表格和图像数据进行金融分析，并演示了其在金融技术中能够在实时分析和决策方面取得显著进展。

    Feb, 2024

  • 面向数据的金融大型语言模型

    通过数据中心的方法，我们提出了一种能够更好地处理金融任务的金融 LLM（FLLM）模型，通过多任务提示优化来对数据进行预处理和预理解，并通过推断增强推理（AAR）自动生成训练数据，实验结果表明，我们的数据中心 FLLM 模型显著优于基于原始文本的金融 LLMs，在金融分析和解释任务上达到了最新水平，我们还开源了一个新的金融分析和解释基准，这种方法为解锁 LLMs 在复杂现实领域的潜力提供了希望。

    Oct, 2023