我们使用适配器框架基于参数高效的微调开发了一种简单、统一和计算轻量级的方法，应用于古代和历史语言的词嵌入评估，形态标注，POS 标记，词义化和字符和词级别的填充等任务，并在所有任务和 16 种语言上均匀应用了相同的适配器方法。我们的研究结果显示了在现代语言上预训练的语言模型通过适配器训练可以适应历史和古代语言的可行性。

Apr, 2024

本文研究如何利用转移学习的方法，通过训练 character-level recurrent neural taggers 的方式，使得高资源语言和低资源语言都能够正确预测 morphological taggings，成功地实现了多语言间的知识迁移，有效提高了准确性达 30%。

Aug, 2017

该研究以 CoNLL-SIGMORPHON 2017 共享任务为基础，使用监督型形态生成技术在 52 种语言上进行训练和测试，结果表明神经序列到序列模型能够在小训练数据集上取得高性能，但由于不同偏置和数据增强策略导致预测的屈折形式集合不一，因此仍需要进一步的改进措施。

Jun, 2017

提出了一种适用于低资源语言的模型来训练形态标记器，该模型使用 Wesabie 模型进行打标， 通过在语料库中引入 POS 词性标注的元信息，将标记信息从富资源语言映射到贫资源语言，实现了跨语言知识的迁移，可以提高句法分析的效果。

Jun, 2016

应用预训练的基于字符的语言模型，成功提升了历史德语低资源命名实体识别准确性，并相较于经典 CRF-based 方法和 Bi-LSTMs，提高了高达 6% 的 F1 得分表现。

Jun, 2019

CoNLL-SIGMORPHON 2018 shared task focused on supervised learning and morphological generation for over 100 languages, with task 1, inflection task, receiving 27 submissions and task 2, the cloze task, receiving 6 submissions where most systems utilized neural components and improvements were seen from last year's inflection task.

Oct, 2018

在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

Apr, 2024

本篇研究讨论了针对历史文本进行命名实体识别的挑战，并提出使用大型历史语言模型 hmBERT 预训练来解决标注数据不充足的问题，并使用 HIPE-2022 共享任务来评估模型性能。

May, 2022

SIGMORPHON 2019 共享任务关注跨语言转移和上下文形态学分析，研究传递学习和上下文词形还原在 66 种语言中的应用，同时在 100 种语言对中考察了词缀的转移，所有的提交中都具备了神经元件。

Oct, 2019

本文提出了一种基于深度神经网络的序列标注方法，其包含多语言、多任务学习和交叉语言联合训练，并在包括词性标注、分块和命名实体识别等多个任务中取得了最优性能。

Mar, 2016