利用 LLMs 从混合长文档中检索 KPI 的综合框架与数据集
本文研究了大型语言模型在金融分析中的应用,通过 IJCAI-2024 FinLLM 挑战模拟了金融分类、金融文本摘要和个股交易等关键任务,并采用 Llama3-8B 和 Mistral-7B 作为基本模型,通过 Parameter Efficient Fine-Tuning(PEFT)和 Low-Rank Adaptation(LoRA)方法进行微调,将任务一和任务二的数据集进行融合,综合和全面地解决了这些多样且复杂的金融任务,展示了大型语言模型在提高准确性和决策能力方面的潜力。
Jul, 2024
基于大型语言模型,通过使用常见的金融公式生成金融问题回答数据,FinLLMs 方法提供一种解决数据资源有限和注释成本高昂问题的方法。实验结果表明,由 FinLLMs 生成的合成数据有效地提升了金融领域几个大规模数值推理模型的性能,超过了两个常用基准金融问题回答数据集。
Jan, 2024
人工智能在金融行业取得了重大进展,通过自动化复杂任务、增强客户服务和提供详细的金融分析等方式改变了数据的处理和解释方式。本研究提出了 IDEA-FinBench、IDEA-FinKER 和 IDEA-FinQA,分别针对大型语言模型在金融领域的应用所进行的评估基准、知识增强框架和基于问答系统的应用方案。
Jun, 2024
通过数据中心的方法,我们提出了一种能够更好地处理金融任务的金融 LLM(FLLM)模型,通过多任务提示优化来对数据进行预处理和预理解,并通过推断增强推理(AAR)自动生成训练数据,实验结果表明,我们的数据中心 FLLM 模型显著优于基于原始文本的金融 LLMs,在金融分析和解释任务上达到了最新水平,我们还开源了一个新的金融分析和解释基准,这种方法为解锁 LLMs 在复杂现实领域的潜力提供了希望。
Oct, 2023
通过精调模型和对称相似度、LLM 评估和 Rouge-L 分数等指标的连续反馈循环来提高人工智能模型,利用金融数据集和检索增强生成技术 (RAG),证明精调模型在问题回答能力方面能够超越零 - shot LLMs 的准确性。
Jan, 2024
信息提取是从自然语言文本中提取结构化知识(如实体、关系和事件)的过程。最近,生成式大型语言模型(LLMs)在文本理解和生成方面展示出了显著的能力,允许在各个领域和任务中进行概括。为了对 LLMs 在信息提取任务中的努力进行全面系统的回顾和探索,我们通过调查这个领域的最新进展来进行研究。我们首先通过以各种信息提取子任务和学习范式进行分类来呈现一个全面的概述,然后我们经验性地分析最先进的方法并发现使用 LLMs 的信息提取任务的新兴趋势。通过进行彻底审查,我们确定了一些技术见解和有希望进一步探索的研究方向,值得在未来研究中持续探索。我们在以下网址维护一个公共资源库并定期更新相关资源:https://github.com/quqxui/Awesome-LLM4IE-Papers。
Dec, 2023
在金融情感分析领域,传统的 NLP 模型受到参数大小和训练数据范围的限制,以及简洁的财经新闻文本缺乏上下文的问题,而无法很好地泛化和提高准确性。为了解决这些挑战,本研究引入了一种基于检索增强的大型语言模型(LLMs)框架,该框架包括一个指导调整的 LLMs 模块和一个从可靠外部来源检索附加上下文的模块。与传统模型和 ChatGPT、LLaMA 等 LLMs 相比,我们的方法在准确性和 F1 得分方面取得了 15%到 48%的性能提升。
Oct, 2023
本文介绍了一种基于语义内容表示的学术交流结构化方法,利用 LMMs 的文本生成能力,提供了结构化学术贡献摘要的自动化方法,并在信息提取方面展示了竞争力。
Jan, 2024
通过对四个金融表问答数据集进行广泛实验,这项研究探讨了大型语言模型在数学推理、结构化表格和非结构化文本融合方面的能力。研究集中分析了模型对表格复杂度的敏感性以及随着算术推理步骤增加的性能变化。结果揭示了大型语言模型在处理半结构化表格中复杂数学场景时的能力和限制,并提出了一种针对半结构化文档的新型提示技术,其性能与其它基准线相媲美或超越,同时提供对大型语言模型在此任务中的细致理解。
Feb, 2024