ACLMay, 2023

形态变化中的噪声研究

PDF
TL;DR本文旨在探讨稀缺高质量数据的语言中的形态学屈折系统，包括对非监督形态学范式完成的管道内遇到的噪声类型进行了错误分类和注释流程、比较不同类型噪声对现有最新型变型模型的影响、再提出使用字符级屏蔽语言建模（CMLM）预训练目标探索其对模型的抗噪性的影响。实验发现，各种建筑物受到不同类型的噪声的影响不同，但编码器解码器比具有复制偏差的模型更为稳健。CMLM 预训练有助于变压器，但对 LSTM 影响较小。
morphological inflection systemstraining data noiseunsupervised morphological paradigm completionerror taxonomycmlm pretraining
发现论文，激发创造
  • 不同类型噪音对神经机器翻译的影响

    本文探讨了并行训练数据中各种类型的噪声对神经机器翻译系统性能的影响，通过创造并分析五种人造噪声的方式来研究神经机器翻译和统计机器翻译的性能下降，发现神经模型通常比统计模型更容易受到噪声的影响。

    May, 2018

  • 合成和自然噪声都会破坏神经机器翻译

    本文研究了基于字符的神经机器翻译模型，并发现它们能够解决词表外的问题、学习词形变化，但是在面对嘈杂的数据时容易出现错误。作者探究了两个方法来提高模型的鲁棒性：结构不变的词表示和在噪声数据上强化训练。作者发现一个基于字符卷积神经网络的模型能够同时学习多种噪声下的鲁棒表示。

    Nov, 2017

  • 超越噪音：缓解细粒度语义差异对神经机器翻译的影响

    本文分析了语义差异对神经机器翻译的影响，并基于此提出了一种包含因素的敏感型神经机器翻译框架，该框架能够更好地应对自然发生的差异，从而提高翻译质量和模型校准能力。

    May, 2021

  • 用屈折变化打击语言歧视

    通过扰动词的屈折形态，制作可信的语义相似的对抗样本，揭示出仅在标准英语语料库上进行训练的神经网络对非标准语言背景下的少数族裔存在歧视。进一步表明，在对单一历元进行对抗调整并不会牺牲清洁数据的性能，反而能显著提高模型的鲁棒性。

    May, 2020

  • 学习带有噪音基础模型

    该论文通过广泛的实验证明，虽然在预训练中存在一定的噪声可以提高域内性能，但它总是破坏域外性能，然后提出了一种调整方法来减轻噪声的不良影响并提高泛化能力。

    Mar, 2024

  • 低资源形态变化的极限探究

    提出一种针对低资源语言的自动词形变化生成方案，在神经网络方法、注意力机制、跨语言转移学习等方面做了改进并实现了 15% 的性能提升。发现了语言类别相似和通用表示是跨语言转移学习成功的关键因素。

    Aug, 2019

  • 形态学屈折的最小监督

    该研究使用少量标记的数据引导标注词形变化，利用不同类型的规律，通过类比词标记和距离对词配对，证明了手工标记许多示例可能是不必要的。

    Apr, 2021

  • NLIP: 噪声鲁棒性语言 - 图像预训练

    本文提出了一种基于噪声抵抗的语言 - 图像预训练框架（NLIP），通过噪音协调和噪音补全两种方案来自动稳定预训练，以更有效地减轻图像文本预训练期间的常见噪声影响。通过协同优化噪音协调和噪音补全方案，NLIP 在零样本分类、MSCOCO 图像字幕和零样本图像文本检索任务上，仅使用 26M 数据就显示出与现有预训练模型（如 CLIP、FILIP 和 BLIP）相比的显着性能提高。

    Dec, 2022

  • 如何选择形态变化数据

    本篇论文研究了对于低资源语言的狭缺数据问题，通过使用主动学习方法，基于置信度、熵等策略选择最具信息的数据进行更准确的模型训练，实验证明这种方法可以显著提高模型性能。

    Oct, 2022

  • 基于形态学建模的低资源神经机器翻译

    在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

    Apr, 2024