ACLJun, 2023

使用 CamemBERTa 进行高效的法语语言建模

PDF
TL;DR介绍了一种基于 DeBERTaV3 架构和训练目标的法语 DeBERTa 模型 CamemBERTa，通过在各种法语下游任务和数据集上的性能评估，证明了该模型在训练令牌相同的情况下优于大多数基于 BERT 的模型，并且在性能上与 CamemBERT 类似或更好，而只用了后者总输入令牌数量的 30％。同时，也公开了该模型的权重和代码实现，是 DeBERTaV3 模型的第一个公开实现及应用。
nlpfrench deberta modeltraining methodsdownstream tasksperformance
发现论文，激发创造
  • CamemBERT: 一种美味的法语语言模型

    本研究通过利用网络爬虫数据构建法语单语语料库，研究了训练法语单语 Transformer-based 语言模型的可行性，并在词性标注、句法分析、命名实体识别和自然语言推理等任务上取得了准确的结果。

    Nov, 2019

  • CamemBERT-bio: 一款对健康更为有益的美味法语语言模型

    通过对一部分医学文献的预处理和机器学习，研究团队提出了一种针对法语生物医学领域的语言模型 CamemBERT-Bio，并且该模型在实体识别任务上的 f1 分数相较之前有了 2.54 的提升。

    Jun, 2023

  • DistilCamemBERT: 法国模型 CamemBERT 的蒸馏

    本文介绍了一种针对自然语言处理的 Transformer 模型的改进方法，该方法大大降低了计算成本，同时保持了较好的性能表现。

    May, 2022

  • 基于法语的临床命名实体识别性能评估

    这篇论文是关于对医学法语遮蔽语言模型在临床命名实体识别任务上的评估研究，发现 CamemBERT-bio 在性能上表现优于 DrBERT，而 FlauBERT 则具有竞争力，FrALBERT 的碳排放量最低。这是首个基准评估了法语医学遮蔽语言模型在临床实体识别方面的性能，并比较了其在嵌套实体识别上的性能和环境影响。

    Mar, 2024

  • ViDeBERTa: 一种用于越南语的强大预训练语言模型

    本文介绍了 ViDeBERTa，一种新的越南语预训练单语言模型，使用 DeBERTa 架构在大规模高质量多样化的越南文本语料库上进行预训练，取得了在越南特定的自然语言理解任务上比前文献更好的表现，尤其在问答任务上能取得出色的结果。该模型相较于其他预训练语言模型具有更少的参数，其表现非常出色，并且现已提供供大家使用。

    Jan, 2023

  • 从 FreEM 到 D'AlemBERT: 一份大语料库和语言模型用于早期现代法语

    本文介绍了为早期现代法语（16 至 18 世纪）开发 NLP 工具的努力，包括创建针对该语言的 FreEM_max 语料库以及基于 RoBERTa 的语言模型 D'AlemBERT 的训练和测试，发现该模型具有传递学习的能力，在较少资源的时间段表现也得到提升，同时公开了 D'AlemBERT 和 FreEM_max 语料库的子部分。

    Feb, 2022

  • FlauBERT: 无监督法语语言模型预训练

    本文介绍了 FlauBERT 语言模型，该模型在大规模的、异构的法语语料库上进行了训练，并在多种自然语言处理任务中表现出色。作者分享了多个版本的 FlauBERT 模型以及名为 FLUE 的下游任务的统一评估协议，供法语 NLP 研究社区进行进一步的可重复实验。

    Dec, 2019

  • DrBERT：一种健壮的法语医学临床领域预训练模型

    对 PLMs 在医学领域的表现进行了比较，提出了一种在法语领域预先训练 DrBERT 模型的方法，并且发布了该领域专用的 PLMs。

    Apr, 2023

  • 基于 Transformer 的模型在法语口语理解任务上的基准测试

    本研究采用新的基准测试方法，重点评估了 13 种 Transformer 模型在两个已有的法语口语理解任务中的质量和其生态影响，并证明了压缩模型可以取得较大模型相似的结果，同时具有较小的生态环境影响。

    Jul, 2022

  • 生物医学和临床预训练模型对法语长文档的适应性：一项比较研究

    比较了三种适用于长序列模型的适应策略，研究结果表明，用法文生物医学文本进一步预训练英文临床模型，优于将法文生物医学 BERT 转换为 Longformer 架构或从头预训练法文生物医学 Longformer，而对于命名实体识别任务，BERT 模型仍然是最高效的。

    Feb, 2024