本文介绍了我们在 MRL 2022 胜出的系统，主要探索了基于 transformers 的两种方法：从头训练模型结合数据增强以及在多语言词形态任务中进行前缀调校的迁移学习，其中数据增强显著提高了大多数语言的词形和重构任务的性能，而前缀调校在预先训练的 mGPT 模型上对低数据量和多语言环境中的分析任务进行了适应，结果显示 transformers 与数据增强在词形和重构任务方面取得了最佳结果，而在分析任务方面，基于 mGPT 的前缀调校取得了最高结果。

Nov, 2022

本篇论文介绍了苏黎世大学在 SIGMORPHON 2017 共享任务中针对形态重构的提交。 我们专注于神经网络方法，可以在有限资源的情况下解决任务。 我们提出了两种具有硬单调注意机制的循环神经网络架构，这些架构在复制方面很强大，并且在实现方面存在显着差异。 随后，我们提出了一些实验，通过字符对齐技术使翻译连贯，并基于样本量 100 的条件下，所提出的两种方法（以模型集合的形式）均优于下一竞争对手，成为了 SIGMORPHON 2017 共享任务 1 的全局胜者。

Jul, 2017

使用基于词元的训练 - 测试分割方法重新评估形态学屈折模型，结果表明对于不同的语言模型的泛化性能有着不同程度的影响，尤其对于低资源语言的影响更大。

Aug, 2021

本研究通过训练一组不同参数设置的 Transformer 模型，在英语动词过去式词形成任务上取得了高精度，进一步暗示了模型具有某种程度的抽象学习能力，但其表现不符合人类数据，可能不是一个好的认知模型。

Oct, 2022

通过模仿学习，使用神经过渡型字符串转换器来进行形态学任务，如词形生成和词形归一化。采用简单的专家策略来消除对字符对齐器或热启动的需求，并在多个基准测试中实现了强大和最先进的性能。

Aug, 2018

这项研究比较了循环神经网络和 transformer 在字符级转换任务方面的表现，发现 batch size 在 transformer 的性能上扮演了关键的角色，在足够大的 batch size 下，transformer 的表现强于循环模型。此外，还提出了一种简单的方法来处理特征导向的字符级转换，并在形态学屈折和历史文本规范化两个任务上实现了最先进的表现。实验结果表明，与强基准相比，transformer 在两个其他字符级转换任务上的表现有所提高：字素到音素的转换和音译。

May, 2020

该研究以 CoNLL-SIGMORPHON 2017 共享任务为基础，使用监督型形态生成技术在 52 种语言上进行训练和测试，结果表明神经序列到序列模型能够在小训练数据集上取得高性能，但由于不同偏置和数据增强策略导致预测的屈折形式集合不一，因此仍需要进一步的改进措施。

Jun, 2017

在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

Apr, 2024

在小型训练集下，我们针对 neural seq2seq models 在 paradigm completion 的应用中性能低下提出了两种新方法：1. Paradigm transduction， 2. Source selection with high precision (SHIP)， 在 52 种语言的基准数据集上，我们相比之前的技术水平在最高达 9.71% 的绝对准确率上实现了优异表现。

Sep, 2018

我们的研究聚焦于词形屈折在词汇外条件下的问题，通过开发三个系统并测试在词汇外数据集上的性能，我们发现逆行模型在现实情境下的词汇外数据上胜过了所有神经模型，并且由我们的 seq2seq 模型在 SIGMORPHON 2022 共享任务数据的大数据条件下达到了最先进的结果。

Apr, 2024