Aug, 2020

GREEK-BERT：希腊人参观芝麻街

PDF
TL;DR这篇论文介绍了一种基于 BERT 的希腊语语言模型 GREEK-BERT，在三个 NLP 任务中表现优异，并比其它多语种 Transformer 模型和基于预训练词嵌入的基线模型表现更好。研究人员已经公开了 GREEK-BERT 和训练代码，并提供如何将 GREEK-BERT fine-tune 用于下游 NLP 任务的代码，以推动现代希腊语的 NLP 研究和应用。
transformer-based language modelsbertgreek-bertnlp tasksmodern greek
发现论文，激发创造
  • GreekBART：第一个预训练的希腊序列到序列模型

    本篇论文介绍了 GreekBART，这是第一个基于 BART-base 架构的 Seq2Seq 模型，经过大规模希腊语语料库的预训练。我们评估并比较了 GreekBART 与 BART-random、Greek-BERT 和 XLM-R 在各种区分性任务上的表现，并研究了其在两个来自 GreekSUM 的 Greek 语言生成任务中的性能。模型、代码和数据集将公开提供。

    Apr, 2023

  • 探索大型语言模型在古典学中的应用

    本文提出了四种古希腊语言模型，包括单语和多语版本，使用 RoBERTa 和 T5 作为模型类型，基于模型对形态和句法任务进行评估，探讨模型类型对古典语言模型设计的影响。实验结果表明本文设计的模型显著提高了古希腊语言任务的性能，并为未来的研究提供了有用的信息。

    May, 2023

  • FinEst BERT 和 CroSloEngual BERT: 在多语言模型中，少即是多

    本文介绍训练两个三语 Bert 模型 —— 一种适用于芬兰语、爱沙尼亚语和英语的 FinEst BERT 以及一种适用于克罗地亚语、斯洛文尼亚语和英语的 CroSloEngual BERT，并在多种单语和跨语言情况下使用 BERT 和 XLM-R 作为基线评估它们在多个下游任务上的性能，包括命名实体识别、词性标注和依存句法分析，结果表明这些模型能够提高大多数情况下所有任务的结果。

    Jun, 2020

  • 利用多语言知识蒸馏的句子嵌入模型在古希腊语中的应用

    通过使用多语言知识蒸馏方法训练 BERT 模型，本研究为古希腊文本生成句子嵌入，借鉴了高资源语言的模型性质，同时使用了相对较少的翻译句子数据。通过创建一个平行语料库，将古希腊文档与英文译文进行对齐，并使用这个数据集训练模型。研究还通过翻译搜索、语义相似性和语义检索任务以及翻译偏差调查的评估方法对模型进行了测试。

    Aug, 2023

  • Logion：希腊语学领域机器学习

    利用机器学习方法，我们在希腊文献学领域解决了诸多问题。在使用最大的古希腊数据集训练 BERT 模型后，我们成功鉴别并纠正了文本传承过程中刻写员以往未能发现的错误，同时证明了该模型填补古代手稿材料损伤造成空缺的能力，并与领域专家的表现进行了比较。我们发现，在启发领域专家的模型建议的支持下，最佳表现可得。在考虑到人机协作的同时，我们还探索了模型的可解释性，并发现一些注意力头似乎对古代希腊语的某些语法特征进行了编码。

    May, 2023

  • BERT 用于芬兰语的多语言处理

    本文主要介绍了采用预训练的深度学习语言模型用于自然语言处理的相关研究，特别是新型的 transformer-based BERT 模型。与其他大多采用英语等高资源语言的研究不同，本文侧重于针对冷门语言芬兰语的研究，探索基于多语言模型 Fine-tune 和基于芬兰语数据单独训练的模型的性能比较，实验结果表明后者的表现较好，成为当前芬兰语 POS 标注、NER 和依存分析任务的先进模型。

    Dec, 2019

  • 从多语言 BERT 感知单词级别翻译

    本研究探讨了多语言 BERT（mBERT）的跨语言表示，并提出了两种简单的方法来暴露其卓越的翻译能力。研究结果表明，mBERT 学习表示既包含语言编码组件，又包含抽象的跨语言组件，并明确确定了一种 mBERT 表示中的经验语言识别子空间。

    Oct, 2020

  • ParsBERT：基于 Transformer 的波斯语语言理解模型

    本文提出了一种用于波斯语的单语 BERT 模型（ParsBERT），并采用庞大的数据集进行预训练和各种自然语言处理任务，证明该模型相对于其他结构和多语言模型具有更好的性能。

    May, 2020

  • 罗马尼亚 BERT 的诞生

    介绍了罗马尼亚 BERT，这是第一个纯罗马尼亚的基于 Transformer 的语言模型，并介绍了语料库的组成和清理、模型训练过程以及在各种罗马尼亚数据集上的评估。

    Sep, 2020

  • 拉丁 BERT: 古典语言学的上下文语言模型

    我们介绍了 Latin BERT，它是一种针对拉丁语言的上下文语言模型。在多个案例研究中，我们展示了该模型在自然语言处理和传统学术研究中的多种应用，比如在所有三个拉丁语通用语义数据集上都取得了最新的最佳词性标注成果，并通过查询上下文最近邻实现了语义上信息化的搜索。

    Sep, 2020