AAAIApr, 2020

学习学习资源贫乏语言的形态变化

PDF
TL;DR本研究提出通过元学习的方式，以较少的语言资源解决形态学词形变化的任务。研究发现，将数据作为元参数，可以作为引导资源匮乏语言微调的强大初始化点。通过 29 个目标语言的实验，该方法表现出优异的性能，比之前提出的跨语言转移模型提高了 31.7% 的绝对精度，并且平均比之前的最优方法提高了 1.7% 的绝对准确度。
morphological inflectionmeta-learningresource-poor languagesmodel parameterscross-lingual transfer
发现论文，激发创造
  • 低资源形态变化的极限探究

    提出一种针对低资源语言的自动词形变化生成方案，在神经网络方法、注意力机制、跨语言转移学习等方面做了改进并实现了 15% 的性能提升。发现了语言类别相似和通用表示是跨语言转移学习成功的关键因素。

    Aug, 2019

  • 跨语言屈折变形作为分析的数据增广方法

    提出一种基于形态学的低资源依存解析方法，在目标低资源语言中训练形态变化器，并将其应用于相关的富资源树库以创建类似于目标低资源语言的跨语言折叠树库。使用这样的折叠树库在零（在折叠的树库上训练）和少量样本（在折叠和目标语言树库上训练）设置中训练解析器。结果表明该方法有时会改善基线，但不是一致的。

    May, 2022

  • 低资源语言的跨语言形态标注

    提出了一种适用于低资源语言的模型来训练形态标记器，该模型使用 Wesabie 模型进行打标， 通过在语料库中引入 POS 词性标注的元信息，将标记信息从富资源语言映射到贫资源语言，实现了跨语言知识的迁移，可以提高句法分析的效果。

    Jun, 2016

  • 一次性神经跨语言转移用于词形填充

    本研究提出一种新颖的跨语言转移方法，使用神经编码器 - 解码器模型完成词形映射任务，并使用高资源语言数据提高低资源语言的性能。在 21 种不同语言家族的语言对中进行实验，比无转移方法的精度高出 58％，并表明零射和单射学习也是可能的。此外，我们发现语言相关性程度强烈影响转移形态学知识的能力。

    Mar, 2017

  • 面向资源匮乏语言的跨语言任务特定表示学习用于文本分类

    使用双向 LSTM 网络与相似度度量的对比损失函数，通过在共同空间中学习资源贫乏和资源丰富句子的表示方法，实现了情感分析和表情符预测等文本分类任务中对资源贫乏语言（如印地语和泰卢固语）和资源丰富语言（如英语和西班牙语）进行有效分类的目标。

    Jun, 2018

  • 形态学屈折的最小监督

    该研究使用少量标记的数据引导标注词形变化，利用不同类型的规律，通过类比词标记和距离对词配对，证明了手工标记许多示例可能是不必要的。

    Apr, 2021

  • 基于形态学建模的低资源神经机器翻译

    在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

    Apr, 2024

  • (不) 解决形态变化：词形重叠人为地提高了模型的性能

    使用基于词元的训练 - 测试分割方法重新评估形态学屈折模型，结果表明对于不同的语言模型的泛化性能有着不同程度的影响，尤其对于低资源语言的影响更大。

    Aug, 2021

  • 低资源语言的形态处理：现状与展望

    通过调查计算形态学在低资源语言中的应用、提出在现有技术的基础上对原始文本进行语言形态学理解的挑战并进行实证研究，展示在设计的两个新模型的辅助下，现有的技术可以在一定程度上完成任务，但仍有很大的提升空间，解决此任务将大幅提高形态学资源的语言覆盖度。

    Mar, 2022

  • 在真正的低资源语言上，对于低资源依赖分析的方法进行系统比较

    本文研究在少量训练数据的情况下，如何通过数据增强、跨语言训练和转写等策略提高处理低资源语言的分析器性能。在三种语言的实验中，发现数据增强和跨语言训练都能提高性能，而将高资源语料库中的字母转写成共享的拼写规则也很有帮助。

    Sep, 2019