FinGPT:小语种的大型生成模型
本文介绍了 BloombergGPT, 这是一个在大量金融数据上训练得到的具有 500 亿参数的语言模型。通过使用混合数据集进行训练,我们得到的模型不仅在金融任务上表现出色,还在普遍的 LLM 基准测试上得到了不错的表现,同时也解释了模型构建、训练过程和评估方法。
Mar, 2023
本文介绍了一种基于数据驱动和透明资源的开源金融领域大型语言模型(FinGPT),通过自动数据处理管道和低秩度量适应技术,为研究人员和从业者提供访问、透明的资源,并展示了机器人顾问、算法交易和低代码开发等潜在应用。
Jun, 2023
这篇文章介绍了针对加利西亚语的两个生成式大型语言模型,通过减少数据限制以及使用人工评估和任务数据集的方法,这些模型展现出良好的性能,强调了在生成式模型中语言多样性的重要性。
Jun, 2024
金融行业中,大型语言模型(LLMs)表现出了非凡的水平,在理解和生成类似人类的文本方面具有巨大的潜力,然而,现有的 LLMs 在金融领域中存在不足之处,这主要归因于一般文本数据和金融文本数据之间的差异。为了解决这个问题,我们引入了一种开源数据为中心的框架 —— 金融生成预训练 Transformer(FinGPT),通过自动收集和筛选来自互联网上的实时金融数据,为研究人员和从业人员提供了开放和透明的资源,以开发他们的 FinLLMs。此外,我们提出了一种简单而有效的策略,即使用市场的内在反馈进行 FinLLM 的精细调整,称为股票价格强化学习(RLSP)。最后,我们展示了几种 FinGPT 的应用,包括机器顾问,算法交易的情感分析以及低代码开发。FinGPT 旨在民主化金融领域的 LLMs,激发创新,并在开放金融领域中开启新的机会。
Jul, 2023
本文系统地研究了大型语言模型在多语言机器翻译中的优势和挑战,并在 102 种语言上评估了 XGLM、OPT、BLOOMZ 和 ChatGPT 四种常见模型的性能。在进一步分析中,本文发现大型语言模型在多语言机器翻译中具有一些新的工作方式。
Apr, 2023
多语言大型语言模型在自然语言处理领域的研究人员和从业者中广受欢迎。本文介绍了多语言大型语言模型的技术方面,并对其底层架构、目标函数、预训练数据来源和分词方法进行了概述。此外,还探讨了不同模型类型的独特特征,包括仅编码器模型、仅解码器模型和编码器 - 解码器模型。同时,还讨论了多语言大型语言模型的一个重要局限性,即多语言之间的相互影响问题,并探究了克服这一问题的当前尝试。
Jun, 2024
本文主要介绍了采用预训练的深度学习语言模型用于自然语言处理的相关研究,特别是新型的 transformer-based BERT 模型。与其他大多采用英语等高资源语言的研究不同,本文侧重于针对冷门语言芬兰语的研究,探索基于多语言模型 Fine-tune 和基于芬兰语数据单独训练的模型的性能比较,实验结果表明后者的表现较好,成为当前芬兰语 POS 标注、NER 和依存分析任务的先进模型。
Dec, 2019
利用大型语言模型的丰富语言知识和强大的推理能力,我们提出了一种新的生成式翻译范式 ——“GenTranslate”,可以从 N 个候选译文中生成更高质量的翻译结果,并且在各种语音和机器翻译基准测试中明显优于现有模型。
Feb, 2024
利用零样本学习对四种主要的神经网络模型在 14 个乌尔都自然语言处理任务上进行了全面对比和分析,结果表明最先进的模型在所有任务中都超越了编码器 - 解码器的预训练语言模型。此外,研究还发现,基于较少参数但更多语言特定数据的模型比基于更大计算模型但较少语言数据的模型表现更好。
May, 2024