ACLMay, 2020

用屈折变化打击语言歧视

PDF
TL;DR通过扰动词的屈折形态，制作可信的语义相似的对抗样本，揭示出仅在标准英语语料库上进行训练的神经网络对非标准语言背景下的少数族裔存在歧视。进一步表明，在对单一历元进行对抗调整并不会牺牲清洁数据的性能，反而能显著提高模型的鲁棒性。
neural networksadversarial examplesnlp modelsbiasrobustness
发现论文，激发创造
  • 注意词形变化！基于词形变化编码改进非标准英语的自然语言处理

    该论文提出了基于 BITE 的英文文本分词方法，将屈折词语还原为其基本形式，并通过添加特殊符号重新注入语法信息，提高了 NLP 模型在非标准屈折形式方面的鲁棒性并保持了在干净数据上的性能。研究者们通过评估提出了度量语料库效率的指标。

    Apr, 2020

  • 利用反事实数据增强来减轻语言中丰富形态学的性别刻板印象

    提出一种新方法，在语法形态复杂的语言（如西班牙语和希伯来语）中将男性化和女性化的句子互相转换，以达到减少性别刻板印象的目的，同时保持语法正确性。

    Jun, 2019

  • 形态变化：一次现实检验

    研究分析了词形变化在子词 NLP 中的高性能和高可变性的原因，提出了更好反映实际使用情况的数据采样和评估策略，探讨了当前变形系统的泛化能力。

    May, 2023

  • 公平自然语言处理的扰动增强

    本研究探讨了在人口统计方面出现的偏差对自然语言处理中的模型和数据集的影响，通过对大量的人工标注文本扰动数据的训练，得出采用人口统计扰动数据进行预训练和调优可以使语言模型更加公平，并且能在不牺牲下游任务性能的前提下减少模型的偏差。

    May, 2022

  • 形态变化中的噪声研究

    本文旨在探讨稀缺高质量数据的语言中的形态学屈折系统，包括对非监督形态学范式完成的管道内遇到的噪声类型进行了错误分类和注释流程、比较不同类型噪声对现有最新型变型模型的影响、再提出使用字符级屏蔽语言建模（CMLM）预训练目标探索其对模型的抗噪性的影响。实验发现，各种建筑物受到不同类型的噪声的影响不同，但编码器解码器比具有复制偏差的模型更为稳健。CMLM 预训练有助于变压器，但对 LSTM 影响较小。

    May, 2023

  • 百万级跨语言条款级联结构转换器

    本文介绍了我们在 MRL 2022 胜出的系统，主要探索了基于 transformers 的两种方法：从头训练模型结合数据增强以及在多语言词形态任务中进行前缀调校的迁移学习，其中数据增强显著提高了大多数语言的词形和重构任务的性能，而前缀调校在预先训练的 mGPT 模型上对低数据量和多语言环境中的分析任务进行了适应，结果显示 transformers 与数据增强在词形和重构任务方面取得了最佳结果，而在分析任务方面，基于 mGPT 的前缀调校取得了最高结果。

    Nov, 2022

  • 基于规则的形态学变化改善神经术语翻译

    论文提出了一种模块化框架，可以用来在神经机器翻译中灵活地应用语言学知识和不同类型的神经机器翻译模型，特别是设计了用于领域适应和低资源机器翻译设置的英德医疗和英立新闻测试套件，结果表明，我们的基于规则的屈折模块比神经模块更准确地引入了引文限制，并且在低成本的训练下优于现有的端到端方法。

    Sep, 2021

  • 神经机器翻译中目标侧词形变化建模

    本文提出了一个简单的方法来解决 NMT 系统处理大词汇量时的问题，该方法是训练系统生成单词的词元和丰富的词性标记，然后进行确定性生成步骤，应用于英语 - 捷克语和英语 - 德语翻译方案中，获得了改进。

    Jul, 2017

  • 低资源形态变化的极限探究

    提出一种针对低资源语言的自动词形变化生成方案，在神经网络方法、注意力机制、跨语言转移学习等方面做了改进并实现了 15% 的性能提升。发现了语言类别相似和通用表示是跨语言转移学习成功的关键因素。

    Aug, 2019

  • 形态学屈折的最小监督

    该研究使用少量标记的数据引导标注词形变化，利用不同类型的规律，通过类比词标记和距离对词配对，证明了手工标记许多示例可能是不必要的。

    Apr, 2021