Jul, 2023

通过生成改写句实现多语言词汇简化

PDF
TL;DR基于预训练语言模型的词汇简化方法取得了显著进展，通过分析词语在其上下文环境中的替代词生成复杂词的潜在替代词。然而，这些方法需要针对不同语言进行单独的预训练模型，并且忽略了对句子意义的保留。本文提出了一种新颖的多语言词汇简化方法，通过生成释义来提供词语选择的多样性，同时保持句子的意义。我们将释义任务视为支持数百种语言的多语言神经机器翻译中的零 - shot 翻译任务。在释义建模的编码器中输入句子后，我们基于一种集中于复杂词的词汇变体的新颖解码策略生成替代词。实验结果表明，我们的方法在英语、西班牙语和葡萄牙语上明显优于基于 BERT 的方法和零 - shot GPT3 方法。
lexical simplificationpretrained language modelsparaphrase generationmultilingual ls methodzero-shot translation task
发现论文，激发创造
  • ParaLS: 通过预训练的释义工具进行词汇替换

    本研究探究了如何利用重述生成器从众多的替换候选词中生成一个最优的替换候选词的问题， 提出了两种解码策略， 实验结果表明，这些策略能够在所作的基准测试中胜过基于预训练语言模型的现有的词汇替换方法。

    May, 2023

  • 将改写生成视为零样本多语言翻译：将语义相似性从词汇和句法多样性中分离开来

    通过引入简单的改进算法，不鼓励生成输入中已有的 N-grams，利用多语言神经机器翻译模型生成同义句，控制输入和输出之间的词汇多样性，人工评估表明，该方法比基于 ParaBank 2 的同义句生成器更好地维护意义和语法正确性，并且在两种非英语语言上也同样有效。

    Aug, 2020

  • 使用预训练编码器进行词汇简化

    本研究使用 Bidirectional Encoder Representations from Transformers (BERT) 模型，基于序列接受面向上下文、利用未标注数据训练能力，对于未知词语的语境下，对其进行了无监督的简化，显著提高了效果。

    Jul, 2019

  • 多语言神经机器翻译中使用外语重述

    本文介绍如何使用包含一致结构的训练数据作为语料库级别的释义，并将释义视为外语词汇进行 Neural Machine Translation 的训练。本方法表现出比过去的单词或短语级别的方法更好的效果，并且在使用多种语言的平行释义进行训练时表现最佳。该方法提高了翻译的 BLEU 分数，增加了词汇选择的熵和多样性。

    Aug, 2018

  • MultiLS：一个多任务词汇简化框架

    自动将难以阅读的词替换为更易理解的替代词，以改善文本可访问性；通过创建多任务的 LS 数据集，MultiLS 框架和 MultiLS-PT 数据集的潜力得到展示，并报告了基于转换器和大型语言模型的模型性能。

    Feb, 2024

  • 多语言可控变压器模型词汇简化

    提出了一种基于 Transformer 的多语言可控词汇简化系统，使用语言特定的前缀、控制标记和候选词从预训练的掩蔽语言模型中提取较简单的替代词，该系统在三个公开的词汇简化数据集上优于之前的最先进模型，表现良好。针对最近的 TSAR-2022 多语言 LS 共享任务数据集也展现出很强的性能，且在西班牙语和葡萄牙语中获得性能提升。

    Jul, 2023

  • 多语言模型实现零样本改写生成

    本文通过基于 Transformer 的语言模型提出了一种利用多语言平行文本自动生成同义词的简单统一模型，可以在一步中实现无监督同义词生成。该模型相较于中文中的折叠法方法，其生成的同义词更加相似，并且能够在大规模未对齐的语料库上进行预训练。同时，利用噪声自编码器机制还可以提高模型的多样性和鲁棒性。实验结果表明，该模型在同义词关系、多样性、流畅度和效率等方面均优于折叠法。

    Nov, 2019

  • 无监督的上下文增强词汇简化

    我们提出了一种基于无监督学习的词汇简化方法，仅使用单语数据和预训练语言模型。根据目标词和其上下文，我们的方法基于目标上下文和从单语数据中抽样的附加上下文生成替代词。我们在 TSAR-2022 共享任务的英语、葡萄牙语和西班牙语上进行实验，并表明我们的模型在所有语言上都显著优于其他无监督系统。我们还通过与 GPT-3.5 模型组合，建立了一个新的最先进模型。最后，我们在 SWORDS 词汇替换数据集上评估我们的模型，获得了最先进的结果。

    Nov, 2023

  • 用于词汇简化的 LLM 增强对抗编辑系统

    在低资源场景下，我们提出了一种无需平行语料库的新型词汇简化方法，该方法利用对原始句子进行混淆损失和不变性损失的指导来预测词汇编辑，并引入了创新的 LLM 增强损失，将大型语言模型的知识蒸馏到小型词汇简化系统中。大量的实验结果和三个基准 LS 数据集的分析证明了我们提出方法的有效性。

    Feb, 2024

  • 无监督的语句改写

    该论文提出了一种从非标记的单语语料库中学习的重述模型，通过在重述识别，生成和训练增强方面与基于机器翻译的方法进行比较，发现单语重述在所有场景中均优于无监督翻译。

    May, 2019