Jun, 2024

FFN：一个细粒度的中英金融领域平行语料库

PDF
TL;DR大型语言模型在机器翻译领域取得了惊人的进展，然而在金融领域的有效性仍然很少被探讨。我们构建了一个细粒度的中英平行金融新闻语料库，名为 FFN，以研究此问题。通过使用 BLEU、TER 和 chrF 评估指标，我们测量了两个 LLMs（ChatGPT 和 ERNIE-bot）的翻译质量。与此同时，我们还基于我们的数据集训练了一个基于 OpenNMT 的模型。我们详细解释了 LLMs 的问题，并进行了深入分析，旨在激发对这个几乎未知领域的进一步研究和解决方案。我们的研究强调了在金融翻译领域中优化 LLMs 以确保准确性和质量的必要性。
large language modelsmachine translationfinancial domainchinese-english parallel corpustranslation quality
发现论文，激发创造
  • 基于大型语言模型的中国金融细粒度情感分析

    本文提出了一个针对金融领域的中文纤细粒度情感分析数据集，用于企业预警，并利用开源的大语言模型对其进行了全面评估和实验。

    Jun, 2023

  • CFGPT：具有大型语言模型的中文金融助手

    本文介绍了一种名为 CFGPT 的中文金融预训练变换器框架，包括一个用于预训练和监督微调的数据集（CFData），一个用于管理金融文本的金融 LLM（CFLLM）和一个用于导航实际金融应用的部署框架（CFAPP）。

    Sep, 2023

  • BBT-Fin: 中国金融领域预训练语言模型、语料库和基准的全面构建

    介绍了基于 T5 模型的新型 BBT-FinT5 中文金融预训练语言模型，同时构建了大规模金融语料库 BBT-FinCorpus 并提出了中文金融语言理解与生成评估基准 BBT-CFLEB 以促进金融领域自然语言处理研究。

    Feb, 2023

  • FinEval：适用于大型语言模型的中文金融领域知识评估基准

    使用 FinEval 基准测试，评估了当前中文和英文大型语言模型在金融领域知识方面的表现，结果显示只有 GPT-4 在不同提示设置下实现了接近 70% 的准确度，表明大型语言模型在金融领域知识方面具有显著的增长潜力。

    Aug, 2023

  • NumLLM：针对中国金融领域的数值敏感大型语言模型

    我们提出了一种新颖的大型语言模型（NumLLM），用于改进金融领域的理解能力，该模型通过在构建的金融语料库上进行微调以适应数字变量，并在金融问答基准上取得了最佳性能表现。

    May, 2024

  • DISC-FinLLM：基于多专家微调的中文金融大型语言模型

    我们提出了一种多专家微调框架来构建金融领域的大型语言模型（LLM），DISC-FinLLM。我们的方法通过赋予通用 LLMs 多轮问答能力、领域文本处理能力、数学计算技巧和检索增强生成能力来改进通用 LLMs。我们构建了一个金融指令微调数据集，名为 DISC-FIN-SFT，其中包括四个类别（咨询、自然语言处理任务、计算和检索增强生成）的指令样本。在多个基准测试中进行的评估表明，我们的模型在各种金融场景中比基准模型表现更好。更多资源可以在此 https 链接中找到。

    Oct, 2023

  • 面向数据的金融大型语言模型

    通过数据中心的方法，我们提出了一种能够更好地处理金融任务的金融 LLM（FLLM）模型，通过多任务提示优化来对数据进行预处理和预理解，并通过推断增强推理（AAR）自动生成训练数据，实验结果表明，我们的数据中心 FLLM 模型显著优于基于原始文本的金融 LLMs，在金融分析和解释任务上达到了最新水平，我们还开源了一个新的金融分析和解释基准，这种方法为解锁 LLMs 在复杂现实领域的潜力提供了希望。

    Oct, 2023

  • 金融情绪分析的预训练大型语言模型

    金融情感分析是将金融文本内容分类为情感类别（如积极、消极和中性）。本文聚焦于金融新闻标题的分类，通过利用预训练的大型语言模型以及监督微调技术，实现在少量训练样本情况下显著超越之前最先进的算法。

    Jan, 2024

  • 使用经过微调的 Llama 2 GPT 模型的金融新闻分析

    Llama 2 大型语言模型的精细调整为金融新闻的多任务分析提供了可能性，根据 PEFT/LoRA 的方法进行了精细调整，研究中对以下任务进行了调整：从金融市场角度分析文本，突出文本的主要观点，总结文本和提取带有适当情感的命名实体。研究结果表明，经过精细调整的 Llama 2 模型可以以特定的响应结构执行多任务金融新闻分析，其中部分响应可以是结构化文本，另一部分数据可以使用 JSON 格式进行进一步处理。提取出的命名实体情感可以被视为具有定量目标变量的监督式机器学习模型中的预测特征。

    Aug, 2023

  • FinLLMs：用大型语言模型生成金融推理数据集的框架

    基于大型语言模型，通过使用常见的金融公式生成金融问题回答数据，FinLLMs 方法提供一种解决数据资源有限和注释成本高昂问题的方法。实验结果表明，由 FinLLMs 生成的合成数据有效地提升了金融领域几个大规模数值推理模型的性能，超过了两个常用基准金融问题回答数据集。

    Jan, 2024