Nov, 2023

基于大型语言模型的金融文件零样本问答

PDF
TL;DR我们引入了一种基于大型语言模型的方法来回答需要多跳数字推理的复杂问题。我们的方法使用新颖的零样本提示，将所需的推理编码到 Python 程序或领域特定语言中，并通过程序解释器执行生成的程序，从而减轻了大型语言模型在执行准确的算术计算时的局限性。我们在三个财务数据集上评估了所提出的方法，使用一些最近开发的生成式预训练变压器模型，并与各种零样本基准进行比较。实验结果表明，我们的方法显著提高了大型语言模型在所有基线上的准确性。我们对结果进行了详细分析，生成支持我们发现的洞察。我们的方法的成功证明，通过设计有效利用嵌入在大型语言模型中的知识的零样本提示，可以提取复杂的领域特定数值推理的巨大潜力。
large language modelmulti-hop numerical reasoningzero-shot promptsfinancial reportscomplex domain specific numerical reasoning
发现论文，激发创造
  • 大型语言模型是零样本推理器

    该研究发现预训练的大型语言模型可以成为良好的零样本推理器，提出了一种零样本的 CoT 方法，将其用于多种复杂的推理任务并取得了显著的性能提升。

    May, 2022

  • Zero is Not Hero Yet: LLMs 金融任务零样本性能基准测试

    本研究探究零样本学习在金融领域中的应用，使用 ChatGPT 等大型语言模型与 RoBERTa 在有标签数据和无标签数据的情况下进行比较，并针对数据标注、模型表现差距和生成模型在金融领域中的使用可行性等三个问题进行了研究。结果表明，即使在没有标签数据的情况下，ChatGPT 的表现仍然很好，但是精细调参的模型通常表现更佳。同时，我们的研究还强调了用生成模型进行注释可能需要大量时间。

    May, 2023

  • 利用大型语言模型提高金融审计的零样本文本匹配

    零射击 ALI 是一种新颖的推荐系统，利用了最先进的大型语言模型（LLM）与领域特定优化的基于转换器的文本匹配解决方案，通过检索最佳匹配的文档段落并使用 LLM 进行筛选，显著改进了现有方法。

    Aug, 2023

  • FinLLMs：用大型语言模型生成金融推理数据集的框架

    基于大型语言模型，通过使用常见的金融公式生成金融问题回答数据，FinLLMs 方法提供一种解决数据资源有限和注释成本高昂问题的方法。实验结果表明，由 FinLLMs 生成的合成数据有效地提升了金融领域几个大规模数值推理模型的性能，超过了两个常用基准金融问题回答数据集。

    Jan, 2024

  • ChatGPT 中零样本命名实体识别的实证研究

    该论文主要研究大型语言模型在零 - shot 信息提取方面的性能，并提出针对命名实体识别的推理策略，包括分解式问答范式、句法增强和自一致性等方法，并在七个基准测试中取得了显著的改进，对错误类型进行了全面分析，并验证了这些方法在少样本情况和其他大型语言模型中的有效性。

    Oct, 2023

  • 零样本分类中的提示复杂度导航：计算社会科学中大型语言模型的研究

    在计算社会科学分类任务中，评估了 ChatGPT 和 OpenAssistant 两种公共可访问的 LLM 的零次效果，并研究了各种提示策略的影响。发现在零次设置下，当前 LLMs 无法与较小的经过微调的基线变压器模型（如 BERT）的性能匹配。此外，发现不同的提示策略可以显着影响分类准确性，准确性和 F1 分数的差异超过 10％。

    May, 2023

  • 金融中的大型语言模型：综述

    近期大规模语言模型 (LLM) 的发展在金融领域开创了人工智能应用的新可能性。本文提供了一份实用的调查报告，关注 LLM 在金融任务中的两个关键方面：现有解决方案和采用指南。首先，我们回顾了目前在金融领域中采用 LLM 的方法，包括通过零样本或少样本学习利用预训练模型，对领域特定数据进行微调，以及从头开始训练自定义 LLM。我们总结了关键模型并评估了它们在金融自然语言处理任务上的性能改进。其次，我们提出了一个决策框架，以帮助金融业专业人员根据数据、计算和性能需求选择合适的 LLM 解决方案。该框架提供了从轻量级实验到大规模投资自定义 LLM 的路径。最后，我们讨论了在金融应用中利用 LLM 所面临的限制和挑战。总的来说，该调查旨在综述最新技术并为负责任地应用 LLM 推动金融人工智能提供路线图。

    Sep, 2023

  • 大型语言模型的零样本文本分类器

    利用零样本学习采用递进性思维提示，与传统的问答格式相比，GPT 模型在文本分类问题上具备零样本分类器的能力，有效地利用提示策略在各种文本分类场景中展现出较好的性能。

    Dec, 2023

  • 超越分类：最先进语言模型中的财务推理

    本文对大规模语言模型在金融领域中的应用进行了可行性研究，探讨了任务形式、数据生成、提示方法和评估能力等方面，发现在 6B 参数时可以生成相关的金融推理结果，并提供了名为 sFIOG 的公开数据集，以支持未来的研究。

    Apr, 2023

  • 再探大型语言模型作为零 - shot 关系抽取器

    本研究聚焦于使用大型语言模型作为无样本关系抽取器。通过分析现有关系抽取提示的不足之处，并引入诸如 CoT 的最新提示技术，我们提出了一种名为 SumAsk 的简单提示方法，通过使用大型语言模型将关系抽取输入转化为有效的问答格式。同时，我们在各种基准测试和设置上进行了广泛的实验，研究了大型语言模型在无样本关系抽取方面的能力，发现 SumAsk 方法在不同模型尺寸、基准测试和设置上都能显著提高大型语言模型的性能，在与无样本和完全监督方法相比具有一定竞争力甚至优越性能的同时，大型语言模型在提取重叠关系方面表现出了良好的性能，然而，不同的关系之间性能差异较大，大型语言模型相较于小型语言模型在处理挑战性的无适用项关系时表现出了有效性。

    Oct, 2023