EMNLPOct, 2021

基于多语言 Transformer 的序列 - 序列词汇规范化

PDF
TL;DR本论文通过使用基于 mBART 的句子级序列到序列模型，将自然语言处理中的标准化问题归结为机器翻译问题，利用多语言预训练技术进行 fine-tuned，优于操作原始社交媒体文本的模型，在下游任务中实现性能提升。
natural language processinglexical normalizationmachine translationmbartsocial media text
发现论文，激发创造
  • 将序列对序列模型用于社交媒体文本规范化

    介绍了一个基于混合词 - 字符注意力编码 - 解码模型的社交媒体文本标准化系统，以预处理噪音文本并适应社交媒体上的 NLP 应用。

    Apr, 2019

  • 利用字符和词向量与序列到序列模型进行文本规范化

    使用字符级别的注意力和事先训练好的子 / 词级别的嵌入向神经网络提供更多语言学信息，而不需要大量的平行语料库，从而帮助神经网络在标准阿拉伯语语言纠错共享任务数据集上实现最先进的 F1 分数。

    Sep, 2018

  • 多语种文本风格转换的语言和任务自适应多语种预训练

    本研究利用预训练的 seq2seq 模型 mBART 进行多语种文本风格转换，使用机器翻译数据和英文句子得到了三种目标语言的最新成果。此外，考虑到平行数据的普遍稀缺性，我们提出了一个模块化方法，包括两种针对语言和任务适应的训练策略，实现竞争性性能，适用于其他风格转换任务以及其他语言。

    Mar, 2022

  • 非自回归神经机器翻译的序列级训练

    本文提出了一种使用序列级训练目标来训练非自回归神经机器翻译模型的方法，通过几种为非自回归定制的新型强化算法，基于 BLEU 等序列级评价指标优化 NAT 模型的训练；介绍了一种基于 Bag-of-Ngrams（BoN）差异的 NAT 模型的新型训练目标；并通过三阶段训练策略将这两种方法结合起来应用，验证了该方法在多项任务中的鲜明表现。

    Jun, 2021

  • 针对希伯来语自然语言处理的多语言序列到序列模型

    使用序列生成结构的多语言模型能够更好的处理像希伯来语这样的形态丰富语言，从而提高希伯来语自然语言处理，与以往的编码器结构的预训练模型相比，取得了显著改善。

    Dec, 2022

  • 自动文本规范化用于仇恨言论检测

    社交媒体数据是研究的宝贵资源，非标准词汇是对 NLP 工具运行的一种障碍。我们采用了一种简单的序列到序列模型，通过文本规范化的实验结果显示准确率接近 70%，同时也提升了 2% 左右的仇恨言论检测任务的准确性，展示了提高复杂 NLP 任务性能的潜力。

    Nov, 2023

  • 利用多语言序列到序列预训练技术在文本生成与理解中弥合跨语言差距

    本文提出了一种通过引入代码切换任务来减少跨语言场景下的数据和任务差异从而提高多语言序列到序列预训练语言模型（multilingual Seq2Seq PLMs) 的性能的方法，实验结果表明该方法显著优于以标准微调策略微调的基准模型 mBART，可以缩小跨语言句子表示的欧几里得距离，并且在计算成本方面没有太多的增加。

    Apr, 2022

  • 预训练的多语言序列到序列模型：底资源语言翻译的希望？

    通过在 10 种语言上进行完备实验，考虑了五个因素：（1）微调数据量，（2）微调数据中的噪声，（3）模型预训练数据量，（4）领域不匹配的影响以及（5）语言类型学，我们试图确定预训练多语言序列到序列模型（如 mBART）对翻译低资源语言有何贡献，并提出了许多启发式方法。实验结果显示，mBART 对领域差异具有鲁棒性，但对未知和语言类型学差异较大的语言的翻译仍低于 3.0 BLEU。因此，我们鼓励将重点从新模型转向新数据。

    Mar, 2022

  • 少样本神经序列建模的词汇学习

    通过引入词汇翻译机制并使用多种词典学习算法来初始化这种机制，可以提高序列建模任务的系统化泛化能力。

    Jun, 2021

  • 用于资源较少的斯洛文尼亚语的序列到序列预训练

    该研究针对资源较少的斯洛文尼亚语，训练了两个不同尺寸的 T5 类型序列到序列模型，并分析其在 11 个任务中的表现，结果显示 SloT5 模型在分类任务上大多落后于单语斯洛文尼亚 SloBERTa 模型，但在生成性任务上很有用。

    Jul, 2022