Aug, 2023

WeaverBird: 用大型语言模型、知识库和搜索引擎赋能金融决策

PDF
TL;DR我们提出了 WeaverBird，这是一个专门为金融领域设计的智能对话系统。我们的系统利用经过调整的大型 GPT 架构语言模型，借助大量与金融相关的语料库。因此，我们的系统具备了理解复杂金融查询（如 “通胀期间如何管理我的投资”）并提供知情回答的能力。此外，我们的系统整合了本地知识库和搜索引擎用于检索相关信息。最终的回答基于搜索结果，并包含对来源的正确引用，从而享受增强的可信度。通过一系列与金融相关的问题，我们展示了我们的系统相对于其他模型的卓越性能。用户可以通过我们的实时演示链接亲身体验我们的系统，同时还可以观看我们的两分钟视频示范。
weaverbirdintelligent dialogue systemfinance domaingpt architecturefinancial queries
发现论文，激发创造
  • Weaver：机器阅读的问题和文档的深度协同编码

    本文介绍了一种新的模型 Weaver，采用逐层递归神经网络的方式将一个问题与其上下文联系起来，以最少的假设来合并问题和上下文信息，能够在多种条件下很好地完成各种类型的问题，有很好的实证效果。

    Apr, 2018

  • 一种基于 DeBERTa 的新型金融问答模型

    该文介绍了基于 DeBERTa 预训练语言模型的金融问答系统在 FinQA 挑战赛中的应用，通过多模型融合和训练集组合等优化方法，输出准确度达到 68.99，程序准确度达到 64.53，排名第四。

    Jul, 2022

  • GPT-3 模型是小样本金融推理器

    金融分析是评估公司绩效的重要工具，而金融问题回答是需要对数字进行深入推理的问答任务。最近的研究发现，使用大型语言模型如 GPT-3 进行财务领域的推理仍需要相关事实的检索模型和逻辑引擎，特别是由于金融问题的精确性和金融文档中存储的复杂信息。在此基础上，我们在 GPT-3 上采用改进的提示工程方法，实现了接近最先进的准确性，而无需进行任何精调。

    Jul, 2023

  • BloombergGPT: 金融领域的大型语言模型

    本文介绍了 BloombergGPT， 这是一个在大量金融数据上训练得到的具有 500 亿参数的语言模型。通过使用混合数据集进行训练，我们得到的模型不仅在金融任务上表现出色，还在普遍的 LLM 基准测试上得到了不错的表现，同时也解释了模型构建、训练过程和评估方法。

    Mar, 2023

  • BIRD：大型语言模型的可信贝叶斯推理框架

    本文提出了一个名为 BIRD 的贝叶斯推理框架，该框架针对大型语言模型提供了可控和可解释的概率估计，通过加入反推因素、LLM 蕴含和可学习的推导贝叶斯建模。实验表明，使用开源的 Llama 模型，BIRD 的概率估计与人类判断的一致率达到了 65%，比最先进的 GPT-4 提高了 35%。同时，我们还展示了 BIRD 可以直接用于许多真实世界应用的可靠决策。

    Apr, 2024

  • 一个高效的数据创建流程，为大型语言模型生成高质量的金融指令数据

    通过创造一个数据创建流程，将大规模语言模型 fine-tune 为金融相关任务，本研究使用 ChatGPT 在 AI 投资者和金融专家之间开展对话，并结合金融专家的反馈，生成了一个包含 103k 条对话的稳健指令调整数据集。通过采用 GPT-4 作为评判模型，在该数据集上进行了广泛实验，结果表明我们的方法在从 AI 模型中生成准确、相关和金融风格的回答方面取得了重大进展，为金融领域的应用提供了有力工具。

    Jul, 2023

  • FinanceBench: 金融问题回答的新基准

    FinanceBench 是一个对 LLMs 在开放式财务问答（QA）中性能评估的首个测试套件，通过对公开交易公司的 10,231 个问题进行测试，发现现有的 LLMs 在财务 QA 方面存在明显的局限性。

    Nov, 2023

  • 为金融中的表格数据分析赋予语言模型工具使用能力

    通过使用外部工具对语言模型进行增强，可缓解传播误差和幻觉等挑战，特别是在数据异构、精确性至关重要的金融领域。我们将监督微调应用于 LLaMA-2 13B Chat 模型，使其成为 ' 任务路由器 ' 和 ' 任务解决器 '。通过使用金融领域的问答数据集，我们的模型 Raven 在改进基准模型和仅进行监督微调的基线模型上分别显示了 35.2% 和 5.06% 的改进，并且与 GPT-3.5 取得了很好的竞争效果。据我们所知，这是首个探索对金融领域的语言模型进行工具增强的研究。

    Jan, 2024

  • GPT 的金融素养：来自于金融素养测试的洞察，以及人们如何将其作为咨询来源的初步测试

    我们评估了 GPT - 一种大型语言模型 - 作为大众财务机器人顾问的能力，通过使用一项财务识别力测试。

    Aug, 2023

  • LLM 是否可以作为数据库接口？一种基于大规模数据库的文本到 SQL 的 BIg Bench

    本文提出了一个名为 Bird 的大规模基准数据集，旨在填补现有基准测试数据集在数据库值、外部知识和 SQL 某些方面的不足。实验结果表明，在大型数据库的文本到 SQL 转换中，数据库值具有重要意义。同时，最先进的文本到 SQL 模型 ChatGPT，转换准确度仅为 40.08%，距离人类结果 92.96% 还有巨大的差距。

    May, 2023