Oct, 2023

印尼金融 NLP 的领域特定语言模型后训练

PDF
TL;DR我们在金融领域和印尼语言中进行了一项研究，通过对经过预训练的印尼 BERT 进行金融领域的后训练，并构建了印尼金融文本自监督语料库、印尼金融情感分析数据集和印尼金融主题分类数据集，释放了一系列适用于金融自然语言处理的 BERT 模型。我们还评估了对情感分析和主题分类任务进行领域特定后训练的有效性，发现后训练可以提高语言模型在特定领域下游任务上的效果。
bertindobertnlp tasksfinancial domainpost-training
发现论文，激发创造
  • FinBERT：使用预训练语言模型进行金融情感分析

    本文提出了一种名为 FinBERT 的基于 BERT 预训练语言模型，用于在金融领域处理自然语言处理任务，实验结果表明它在当前两个金融情感分析数据集上的表现优于现有的机器学习方法。

    Aug, 2019

  • FinBERT：金融通信预训练语言模型

    本文旨在满足金融领域中对预训练语言模型的需求，提出了一种基于大量金融通信语料库的金融领域特定 BERT 模型（FinBERT），在三个金融情感分类任务上的实验结果证明了 FinBERT 相比于一般领域的 BERT 模型具有优势。

    Jun, 2020

  • 应答选择中基于 BERT 的有效域自适应后训练方法

    本研究基于双向编码器转换器 (BERT) 作为强大的预训练语言模型，针对多轮检索式对话系统中的响应选择问题，提出了一种高效的基于领域特定语料库的后训练方法，发现后训练能帮助模型训练出具有更好上下文表示能力的单词，实验结果显示该方法在两个回答选择基准数据集上达到了新的最优状态（Ubuntu Corpus V1，Advising Corpus），R@1 性能提高了 5.9％和 6％。

    Aug, 2019

  • IndoBERTweet：印度尼西亚推特预训练语言模型，具有效领域特定词汇初始化

    本研究介绍了 IndoBERTweet，这是第一个大规模预训练的印度尼西亚语 Twitter 模型，它通过扩展单语训练的印度尼西亚 BERT 模型来训练，并使用了特定领域的词汇表。我们特别关注词汇不匹配下的有效模型适应性，并基准测试了不同的 BERT 嵌入层初始化方式，发现用平均 BERT 子词嵌入初始化可以使预训练速度提高五倍，并且在七个基于 Twitter 的数据集上使用外部评估比提出的词汇自适应方法更有效。

    Sep, 2021

  • 德国 FinBERT：一种德语预训练语言模型

    德国 FinBERT 是一种专门针对金融文本数据的新型预训练德语语言模型，通过综合的预训练过程进行训练，利用包括德国公司财务报告、临时公告和新闻在内的大量语料库。评估结果表明，在金融领域数据上，德国 FinBERT 在情绪预测、主题识别和问答等下游任务中表现出了改进的性能，表明其捕捉领域特定细微差别的效果，该研究认为德国 FinBERT 有望成为金融文本分析中有价值的工具，有潜在的应用于金融领域的多个应用场景。

    Nov, 2023

  • IndoLEM 和 IndoBERT: 印尼 NLP 的基准数据集和预训练语言模型

    发布了包括七个任务的 IndoLEM 数据集，以及新的预训练语言模型 IndoBERT 用于印度尼西亚语言，并在 IndoLEM 上进行了评估和与现有资源进行了基准测试。实验结果表明，IndoBERT 在 IndoLEM 的大部分任务上实现了最先进的性能。

    Nov, 2020

  • 针对生物医学自然语言处理的领域特定语言模型预训练

    本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。

    Jul, 2020

  • 探索语料多样性对金融预训练语言模型的影响

    过去几年中，已经提出了各种领域特定的预训练语言模型（PLMs），并在生物医学、科学和临床领域等专业领域表现优于通用领域的 PLMs。此外，由于财务数据分析的经济影响巨大，金融 PLMs 也受到了研究的关注。然而，我们发现金融 PLMs 在预训练过程中未使用足够多样化的金融数据。这种缺乏多样化训练数据导致其泛化性能不佳，导致通用 PLMs（包括 BERT）在许多下游任务上通常胜过金融 PLMs。为了解决这个问题，我们收集了广泛的金融语料库，并在这些多样化的数据集上训练了金融语言模型（FiLM）。我们的实验结果证实，FiLM 不仅在现有金融 PLMs 上表现出色，还在通用领域 PLMs 上表现优异。此外，我们提供了实证证据，即这种改进甚至适用于未见过的语料库组。

    Oct, 2023

  • 金融情感分析的大规模语言模型适应

    该研究针对金融领域进行了大规模语言模型（LLM）的适应性研究，并着重研究了金融情感分析，发现通过精细调整基础模型并结合金融文档和指令数据集，小型 LLM 在性能上与大型模型可媲美，而且在参数和数据方面更高效。此外，研究还展示了如何通过 LLM 生成人工指令以增加指令数据集的样本数量。

    Jan, 2024

  • 在土耳其临床领域利用 BERT 的力量：有限数据场景下的预训练方法

    本研究旨在探讨语言资源有限情况下，各种预先培训方法对土耳其临床语言模型在涉及放射学报告的多标签分类任务中表现的影响，并通过利用有限的临床任务数据首次评估了同时进行预训练的方法。我们发现，在使用大量通用域语料库的情况下，通用土耳其 BERT 模型和 TurkRadBERT-task v1 表现最佳。此外，本研究还强调了预先训练期间领域特定词汇对于增强模型性能的重要性。

    May, 2023