EMNLPSep, 2018

神经传导学习及其拓展：极度资源匮乏情况下的形态生成

PDF
TL;DR在小型训练集下，我们针对 neural seq2seq models 在 paradigm completion 的应用中性能低下提出了两种新方法：1. Paradigm transduction， 2. Source selection with high precision (SHIP)， 在 52 种语言的基准数据集上，我们相比之前的技术水平在最高达 9.71% 的绝对准确率上实现了优异表现。
发现论文，激发创造
  • 一次性神经跨语言转移用于词形填充

    本研究提出一种新颖的跨语言转移方法，使用神经编码器 - 解码器模型完成词形映射任务，并使用高资源语言数据提高低资源语言的性能。在 21 种不同语言家族的语言对中进行实验，比无转移方法的精度高出 58％，并表明零射和单射学习也是可能的。此外，我们发现语言相关性程度强烈影响转移形态学知识的能力。

    Mar, 2017

  • 针对多合成极低资源语言的神经形态分割模型加强

    本研究提出两种新型的多任务训练方法和相应的数据增强方法，应用于 Mexican polysynthetic 语言的形态分割，提高了神经基线的性能，同时探索了跨语言转移作为第三种加强神经模型的方法，表明在维持可比性甚至性能提高的同时，可以训练一个多语言模型来减少约 75% 的参数数量，将我们的形态分割数据集提供给 Mexicanero，Nahuatl，Wixarika 和 Yorem Nokki 用于未来研究。

    Apr, 2018

  • 神经形态字符串转录的模仿学习

    通过模仿学习，使用神经过渡型字符串转换器来进行形态学任务，如词形生成和词形归一化。采用简单的专家策略来消除对字符对齐器或热启动的需求，并在多个基准测试中实现了强大和最先进的性能。

    Aug, 2018

  • CoNLL-SIGMORPHON 2017 共享任务：52 种语言的通用形态还原

    该研究以 CoNLL-SIGMORPHON 2017 共享任务为基础，使用监督型形态生成技术在 52 种语言上进行训练和测试，结果表明神经序列到序列模型能够在小训练数据集上取得高性能，但由于不同偏置和数据增强策略导致预测的屈折形式集合不一，因此仍需要进一步的改进措施。

    Jun, 2017

  • 基于形态学建模的低资源神经机器翻译

    在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

    Apr, 2024

  • 低资源形态变化的极限探究

    提出一种针对低资源语言的自动词形变化生成方案，在神经网络方法、注意力机制、跨语言转移学习等方面做了改进并实现了 15% 的性能提升。发现了语言类别相似和通用表示是跨语言转移学习成功的关键因素。

    Aug, 2019

  • 少样本神经序列建模的词汇学习

    通过引入词汇翻译机制并使用多种词典学习算法来初始化这种机制，可以提高序列建模任务的系统化泛化能力。

    Jun, 2021

  • 派生形态的范式完成

    本研究应用神经序列到序列模型解决 NLP 中复杂词形派生问题，并介绍派生范式完成任务。基于优于非神经基准线 16.4% 的结果，我们的神经模型学会了各种派生模式。但是，由于派生性构词涉及语义、历史和词汇考虑，因此未来需要更多工作来实现和生成机制的性能平衡。

    Aug, 2017

  • 使用字符序列到序列学习生成形态变化

    本研究提出了一种基于神经编码器解码器模型的方法，用于生成 Morphological inflection generation 任务中给定基本形式的词汇对应的特定语言变换的变形形式，并在 7 个形态丰富语言的数据集上进行评估，获得了与现有的最先进的基于变化生成的模型相比更好或可比的结果。

    Dec, 2015

  • 分层短语基序列到序列学习

    本研究提出一种基于神经网络的译码器，结合层次短语作为训练的归纳偏差和显式约束，在维持标准序列到序列 (seq2seq) 模型的灵活性的同时。通过训练一个基于括号转录文法的判别式解析器，以层次化地对齐源和目标语短语，并使用一个神经 seq2seq 模型逐个地翻译这些对齐短语。该模型提出两种推理模式：一种只依赖于 seq2seq 模型进行序列级别的翻译，另一种则结合了解析器和 seq2seq 模型。研究结果表明，在小规模机器翻译基准测试中，该方法与对照方法相比表现良好。

    Nov, 2022