Sep, 2023

FRASIMED：基于跨语言 BERT 注释投影的临床法语标注资源

PDF
TL;DR通过跨语言注释投射的方法，利用一种语言不可知的基于 BERT 的方法，本研究论文介绍了一种生成翻译版本注释数据集的方法，有效增加低资源语料库的数据量，无需人力投入，只利用已有的开放数据资源。通过对跨语言注释投射方法的评估，证明了该方法的有效性和高准确性。作为该方法的实际应用，本文介绍了一个包含 2051 个合成法语临床案例的法语医疗实体检测注释语料库（FRASIMED），该语料库可供研究人员和从业者在临床领域开发和改进法语自然语言处理应用。
natural language processingnamed entity recognitionlow-resource corporaannotated datasetscrosslingual annotation projection
发现论文，激发创造
  • 翻译对从真实临床笔记中提取生物医学信息的影响

    本研究的目的是比较使用英语工具提取和规范化翻译中的法语医学概念与使用一组已注释法语临床笔记的法语模型的表现是否相当；通过法语、英语和双语注释数据集评估算法的所有步骤（命名实体识别、规范化和翻译），结果表明本地法语方法比翻译的英语方法表现更好，在几篇注释文档上可以更高效地处理法语医学文本。

    Jun, 2023

  • 基于法语的临床命名实体识别性能评估

    这篇论文是关于对医学法语遮蔽语言模型在临床命名实体识别任务上的评估研究，发现 CamemBERT-bio 在性能上表现优于 DrBERT，而 FlauBERT 则具有竞争力，FrALBERT 的碳排放量最低。这是首个基准评估了法语医学遮蔽语言模型在临床实体识别方面的性能，并比较了其在嵌套实体识别上的性能和环境影响。

    Mar, 2024

  • 低资源语言的跨语言金融交易数据 NER

    我们提出了一个高效的建模框架，用于半结构化文本数据中的跨语言命名实体识别。我们的方法依赖于知识蒸馏和一致性训练，并且利用预训练在源语言上的大型语言模型（XLMRoBERTa）的知识，通过学生 - 教师关系（知识蒸馏）。学生模型在低资源目标语言上采用无监督的一致性训练（使用 KL 散度损失）。我们使用两个独立的 SMS 数据集，分别是英语和阿拉伯语，每个数据集都携带有半结构化的银行交易信息，并侧重展示从英语到阿拉伯语的知识传递。通过仅使用 30 个标记样本，我们的模型可以将商家、金额和其他字段的识别从英语推广到阿拉伯语。我们的实验表明，在低资源语言的少量标记样本的情况下，学习在英语中识别实体就足以在低资源语言中达到合理的性能。该提出的框架对于开发多语言应用程序，尤其是在数字化努力依赖英语和一种或多种低资源语言的地理区域具有重要意义，有时与英语混合使用或独立使用。

    Jul, 2023

  • 跨语言语义角色标注投影

    在 FrameNet 范例下，本文提出了一种基于注释投射的通用框架，它可以相对廉价地自动引发新语言中的角色语义标注。该框架利用了词汇和句法信息来设计投影模型，实验结果表明可以在英汉平行语料库中自动诱导具有高准确度的语义角色标注。

    Jan, 2014

  • 使用 BERT 实现通用语言命名实体识别

    本文研究了一种基于多语言 BERT 的单一命名实体识别模型，使用多任务学习和分块更新规则等正则化策略优化模型，并证明在多种语言数据集上表现优于专注于单一语言模型，并能够进行零样本预测。

    Nov, 2019

  • FRACAS: 一份用于新闻中归属关系的法语标注语料库

    本文介绍了一个手动注释的法语新闻语料库，用于引述提取和来源归属。语料库详细描述了数据选择和注释指南，统计了引述类型的平衡情况，并展示了参与手动标注的 8 名注释员之间的高的注释者一致性。

    Sep, 2023

  • 基于 Few-Shot 的跨语言迁移方法用于混合代码临床文本的粗粒度去识别化

    本文实证展示了预训练语言模型在多语言跨领域少样本学习任务中的交叉语言迁移特性，并将其应用于解决缺乏数据和真实世界挑战的混合代码（西班牙语 - 加泰罗尼亚语）临床笔记：保护个人隐私信息的命名实体识别。

    Apr, 2022

  • 基于通用语言模型的非英语医学自然语言处理注释数据集构建

    介绍了如何利用预训练语言模型提升非英语医学文本处理的 NLP 任务效率和数据集命中率，并且用我们的方法在德语文本上训练了一个医学 NER 模型 GPTNERMED。

    Aug, 2022

  • 从 FreEM 到 D'AlemBERT: 一份大语料库和语言模型用于早期现代法语

    本文介绍了为早期现代法语（16 至 18 世纪）开发 NLP 工具的努力，包括创建针对该语言的 FreEM_max 语料库以及基于 RoBERTa 的语言模型 D'AlemBERT 的训练和测试，发现该模型具有传递学习的能力，在较少资源的时间段表现也得到提升，同时公开了 D'AlemBERT 和 FreEM_max 语料库的子部分。

    Feb, 2022

  • 医学领域跨语言论证挖掘

    通过将英文数据翻译并投影到目标语言（西班牙语）的方法，我们有效地生成了无需手动干预的带注释数据，并证明了其优于使用大型屏蔽多语言语言模型的零 - shot 跨语言方法。同时，我们还展示了西班牙语中自动生成的数据如何用于改善英语评估设置中的结果。

    Jan, 2023