Nov, 2023

德国 FinBERT：一种德语预训练语言模型

PDF
TL;DR德国 FinBERT 是一种专门针对金融文本数据的新型预训练德语语言模型，通过综合的预训练过程进行训练，利用包括德国公司财务报告、临时公告和新闻在内的大量语料库。评估结果表明，在金融领域数据上，德国 FinBERT 在情绪预测、主题识别和问答等下游任务中表现出了改进的性能，表明其捕捉领域特定细微差别的效果，该研究认为德国 FinBERT 有望成为金融文本分析中有价值的工具，有潜在的应用于金融领域的多个应用场景。
german finbertpre-trainedfinancial textual datasentiment predictionfinance-specific data
发现论文，激发创造
  • FinBERT：金融通信预训练语言模型

    本文旨在满足金融领域中对预训练语言模型的需求，提出了一种基于大量金融通信语料库的金融领域特定 BERT 模型（FinBERT），在三个金融情感分类任务上的实验结果证明了 FinBERT 相比于一般领域的 BERT 模型具有优势。

    Jun, 2020

  • FinBERT：使用预训练语言模型进行金融情感分析

    本文提出了一种名为 FinBERT 的基于 BERT 预训练语言模型，用于在金融领域处理自然语言处理任务，实验结果表明它在当前两个金融情感分析数据集上的表现优于现有的机器学习方法。

    Aug, 2019

  • GottBERT: 纯德语语言模型

    该研究介绍了 GottBERT，它是德语单语言 RoBERTa 模型的首次发布，并成功在命名实体识别任务和文本分类任务上超越了其他测试的德语和多语种模型，以期支持德语自然语言处理领域。

    Dec, 2020

  • BERT 用于芬兰语的多语言处理

    本文主要介绍了采用预训练的深度学习语言模型用于自然语言处理的相关研究，特别是新型的 transformer-based BERT 模型。与其他大多采用英语等高资源语言的研究不同，本文侧重于针对冷门语言芬兰语的研究，探索基于多语言模型 Fine-tune 和基于芬兰语数据单独训练的模型的性能比较，实验结果表明后者的表现较好，成为当前芬兰语 POS 标注、NER 和依存分析任务的先进模型。

    Dec, 2019

  • 针对临床和生物医学文本理解的德语语言模型的综合研究

    本文探讨了如何通过在特定领域数据上进行连续预训练，来适应领域特定需求，以提高医学自然语言处理任务的性能。实验证明，通过在临床数据或翻译文本上进行预训练已被证明是在医学领域适应性优化的可靠方法。

    Apr, 2024

  • 印尼金融 NLP 的领域特定语言模型后训练

    我们在金融领域和印尼语言中进行了一项研究，通过对经过预训练的印尼 BERT 进行金融领域的后训练，并构建了印尼金融文本自监督语料库、印尼金融情感分析数据集和印尼金融主题分类数据集，释放了一系列适用于金融自然语言处理的 BERT 模型。我们还评估了对情感分析和主题分类任务进行领域特定后训练的有效性，发现后训练可以提高语言模型在特定领域下游任务上的效果。

    Oct, 2023

  • BBT-Fin: 中国金融领域预训练语言模型、语料库和基准的全面构建

    介绍了基于 T5 模型的新型 BBT-FinT5 中文金融预训练语言模型，同时构建了大规模金融语料库 BBT-FinCorpus 并提出了中文金融语言理解与生成评估基准 BBT-CFLEB 以促进金融领域自然语言处理研究。

    Feb, 2023

  • SwissBERT：瑞士的多语言语言模型

    SwissBERT 是一个针对处理与瑞士有关的文本而创建的掩模语言模型，它是一个预训练模型，适用于瑞士的德语、法语、意大利语和罗曼什语的新闻文章，该模型使用语言适配器，在处理当代新闻和 / 或罗曼什・格里施人时，往往可以比以前的模型更好地完成与瑞士有关的自然语言理解任务，模型和开源代码在公共网址上发布。

    Mar, 2023

  • BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

    本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

    Jan, 2019

  • 德国的下一代语言模型

    本文介绍了我们使用 BERT 和 ELECTRA 基于德语的语言模型 GBERT 和 GELECTRA 的实验，通过改变输入训练数据、模型大小和整个单词掩蔽（WWM）的存在，我们成功实现了在基础和大型模型的文件分类和命名实体识别（NER）任务中取得 SoTA 性能。我们的训练数据采用了 “评估驱动方法”，表明加入更多的数据和使用 WWM 都能提高模型性能。通过对现有德语模型进行基准测试，我们证明这些模型是迄今为止最好的德语模型。我们的训练模型将公开提供给研究社区。

    Oct, 2020