本文提出了四种古希腊语言模型，包括单语和多语版本，使用 RoBERTa 和 T5 作为模型类型，基于模型对形态和句法任务进行评估，探讨模型类型对古典语言模型设计的影响。实验结果表明本文设计的模型显著提高了古希腊语言任务的性能，并为未来的研究提供了有用的信息。

May, 2023

通过使用多语言知识蒸馏方法训练 BERT 模型，本研究为古希腊文本生成句子嵌入，借鉴了高资源语言的模型性质，同时使用了相对较少的翻译句子数据。通过创建一个平行语料库，将古希腊文档与英文译文进行对齐，并使用这个数据集训练模型。研究还通过翻译搜索、语义相似性和语义检索任务以及翻译偏差调查的评估方法对模型进行了测试。

Aug, 2023

我们介绍了 Latin BERT，它是一种针对拉丁语言的上下文语言模型。在多个案例研究中，我们展示了该模型在自然语言处理和传统学术研究中的多种应用，比如在所有三个拉丁语通用语义数据集上都取得了最新的最佳词性标注成果，并通过查询上下文最近邻实现了语义上信息化的搜索。

Sep, 2020

利用机器学习方法，我们在希腊文献学领域解决了诸多问题。在使用最大的古希腊数据集训练 BERT 模型后，我们成功鉴别并纠正了文本传承过程中刻写员以往未能发现的错误，同时证明了该模型填补古代手稿材料损伤造成空缺的能力，并与领域专家的表现进行了比较。我们发现，在启发领域专家的模型建议的支持下，最佳表现可得。在考虑到人机协作的同时，我们还探索了模型的可解释性，并发现一些注意力头似乎对古代希腊语的某些语法特征进行了编码。

May, 2023

本文基于 BERT 语言模型分析了古希腊文献中 Placita Philosophorum 文本的某些统计属性，揭示了该文本与其他二三世纪的亚历山大学派作家的相似之处。

Nov, 2022

这篇论文介绍了一种基于 BERT 的希腊语语言模型 GREEK-BERT，在三个 NLP 任务中表现优异，并比其它多语种 Transformer 模型和基于预训练词嵌入的基线模型表现更好。研究人员已经公开了 GREEK-BERT 和训练代码，并提供如何将 GREEK-BERT fine-tune 用于下游 NLP 任务的代码，以推动现代希腊语的 NLP 研究和应用。

Aug, 2020

这篇论文介绍了 Pythia，它是第一个使用深度神经网络从损坏的文本中恢复缺失字符的古代文本修复模型，在 PHI-ML 上实现了 30.1% 的字符错误率并在古代文字修复领域达到了最新水平。

Oct, 2019

通过比较古希腊史诗中及非标准文本中的及物动词短语的语义灵活性，我们提出了一个用于古希腊的计算机价值词典 AGVaLex，该词典包含关于动词和它们的论元的数量、语料库驱动的形态、句法和词汇信息，对于研究古希腊语言有广泛的应用。

Aug, 2022

通过对句子级别的语义分类使用深度学习方法进行评估，以加速人文学科和语言学领域的语料库构建过程，我们介绍了一个包含各种类型的句子（医学，情色等）的新型语料库，跨度从公元前 300 年到公元 900 年。我们评估了不同的句子分类方法和不同的输入嵌入层，并表明所有方法都一致优于简单的基于标记的搜索。我们探索了个体方言和社会方言的元数据嵌入（世纪，作者，文体）的整合，但发现这会导致过拟合。我们的结果表明了这种方法的有效性，使用 HAN 实现了高精度和真正阳性率（TPR）分别为 70.60％和 86.33％。我们评估了数据集大小对模型性能（2013 个句子降为 420 个句子）的影响，并证明了即使没有 MLM，我们的模型仍然具有足够高的精度和 TPR，分别为 69％和 51％。基于这个结果，我们提供了对注意力机制的分析作为对人文学者的支持附加价值，以产生更多的数据。

Sep, 2023

我们使用适配器框架基于参数高效的微调开发了一种简单、统一和计算轻量级的方法，应用于古代和历史语言的词嵌入评估，形态标注，POS 标记，词义化和字符和词级别的填充等任务，并在所有任务和 16 种语言上均匀应用了相同的适配器方法。我们的研究结果显示了在现代语言上预训练的语言模型通过适配器训练可以适应历史和古代语言的可行性。

Apr, 2024