ACLNov, 2019

CamemBERT: 一种美味的法语语言模型

PDF
TL;DR本研究通过利用网络爬虫数据构建法语单语语料库，研究了训练法语单语 Transformer-based 语言模型的可行性，并在词性标注、句法分析、命名实体识别和自然语言推理等任务上取得了准确的结果。
pretrained language modelsmonolingual transformer-based language modelsfrench languagepart-of-speech taggingnatural language inference
发现论文，激发创造
  • 使用 CamemBERTa 进行高效的法语语言建模

    介绍了一种基于 DeBERTaV3 架构和训练目标的法语 DeBERTa 模型 CamemBERTa，通过在各种法语下游任务和数据集上的性能评估，证明了该模型在训练令牌相同的情况下优于大多数基于 BERT 的模型，并且在性能上与 CamemBERT 类似或更好，而只用了后者总输入令牌数量的 30％。同时，也公开了该模型的权重和代码实现，是 DeBERTaV3 模型的第一个公开实现及应用。

    Jun, 2023

  • CamemBERT-bio: 一款对健康更为有益的美味法语语言模型

    通过对一部分医学文献的预处理和机器学习，研究团队提出了一种针对法语生物医学领域的语言模型 CamemBERT-Bio，并且该模型在实体识别任务上的 f1 分数相较之前有了 2.54 的提升。

    Jun, 2023

  • DistilCamemBERT: 法国模型 CamemBERT 的蒸馏

    本文介绍了一种针对自然语言处理的 Transformer 模型的改进方法，该方法大大降低了计算成本，同时保持了较好的性能表现。

    May, 2022

  • 基于 Transformer 的模型在法语口语理解任务上的基准测试

    本研究采用新的基准测试方法，重点评估了 13 种 Transformer 模型在两个已有的法语口语理解任务中的质量和其生态影响，并证明了压缩模型可以取得较大模型相似的结果，同时具有较小的生态环境影响。

    Jul, 2022

  • 基于法语的临床命名实体识别性能评估

    这篇论文是关于对医学法语遮蔽语言模型在临床命名实体识别任务上的评估研究，发现 CamemBERT-bio 在性能上表现优于 DrBERT，而 FlauBERT 则具有竞争力，FrALBERT 的碳排放量最低。这是首个基准评估了法语医学遮蔽语言模型在临床实体识别方面的性能，并比较了其在嵌套实体识别上的性能和环境影响。

    Mar, 2024

  • ParsBERT：基于 Transformer 的波斯语语言理解模型

    本文提出了一种用于波斯语的单语 BERT 模型（ParsBERT），并采用庞大的数据集进行预训练和各种自然语言处理任务，证明该模型相对于其他结构和多语言模型具有更好的性能。

    May, 2020

  • FlauBERT: 无监督法语语言模型预训练

    本文介绍了 FlauBERT 语言模型，该模型在大规模的、异构的法语语料库上进行了训练，并在多种自然语言处理任务中表现出色。作者分享了多个版本的 FlauBERT 模型以及名为 FLUE 的下游任务的统一评估协议，供法语 NLP 研究社区进行进一步的可重复实验。

    Dec, 2019

  • 多语种模型是否是中度资源语言的最佳选择？以加泰罗尼亚语为例的全面评估

    本研究集中关注在 Catalan 语言，通过构建一个中等大小的单语言模型并进行完整的评估，成功地通过多样的任务比较，充分证明了其优越性，从而证实了在数据充足的情况下，单语言特定模型的效果能够超越多语言模型。

    Jul, 2021

  • TiBERT：藏语预训练语言模型

    本研究使用 Sentencepiece 从藏文网站收集大规模训练数据，并构建了一个词汇表，覆盖了语料库中 99.95％的单词，使用这些数据和词汇表训练了一个称为 TiBERT 的藏文单语言预训练语言模型，最后将 TiBERT 应用于文本分类和问题生成的下游任务，并且与传统模型和多语言预训练模型进行比较，实验结果表明 TiBERT 能够实现最佳性能。

    May, 2022

  • 从英语到外语：迁移预训练语言模型

    本文介绍一种在有限计算预算下将英文预训练模型转移到其他语言的方法，使用单个 GPU，一天内可以获得一种新的外语 BERT 基础模型，并在六种语言上展示该方法在零样本任务上比多语言 BERT 更为有效的结果。

    Feb, 2020