Apr, 2023

学习同形异义词辨析表示用于神经机器翻译

PDF
TL;DR本文提出一种新的方法来解决神经机器翻译中同形异义词的问题，该方法利用编码器的隐藏状态以及受 WordNet 数据集启发的同义词句子进行 encoder 的微调，从而实现单词级别的同形异义词消歧表示（HDR），最终应用于 transformer-based NMT 以提高 BLEU 得分和其他翻译准确度指标。
homographsneural machine translation (nmt)encoderhomographic disambiguationtransformer-based nmt
发现论文，激发创造
  • 神经机器翻译中的同形异义词处理

    该研究利用词义消歧方法，在词输入编码器之前使用上下文感知的词嵌入来区分单词的多义性，解决神经机器翻译（NMT）系统在翻译歧义单词时存在的问题，实验表明该方法提高了 NMT 系统的翻译准确率。

    Aug, 2017

  • 编码器帮助神经机器翻译消除词义歧义

    本文探讨了 NMT 编码器和解码器通过评估隐藏状态和研究自我关注的分布来消歧义词义的能力。通过训练分类器并研究注意权重和注重熵，发现编码器的隐藏状态显著优于单词嵌入，并且自我关注能够检测到模糊不清的名词并将更多注意力分配给上下文。

    Aug, 2019

  • 基于单词预测的神经机器翻译

    本文提出了一种通过预测目标语句中词汇的方法，直接对编码器和解码器中隐藏状态向量进行监督，从而提高了表示质量和机器翻译的效率，实验证明在中英翻译任务和德英翻译任务中 BLEU 得分分别提高了 4.53 和 1.3。

    Aug, 2017

  • 具有联合文本和语音嵌入的强大的神经机器翻译

    本篇论文研究了神经机器翻译中的一种特殊噪声 - 同音替换，提出将源语言句子的文本和音素信息进行联合嵌入，并使用同音替换扩充训练数据集来提高模型对同音替换的鲁棒性，实验结果表明，放置在音素信息上的大多数权重可能比文本信息更有利于提高翻译质量和模型鲁棒性。

    Oct, 2018

  • 预训练上下文语言模型对希伯来同形字分析的区分能力

    研究表明，最新的希伯来语情境嵌入模型在消除希伯来语同形异义词和分析词素、句法特征方面效果显著，尤其在限制分词数、2 种和 3 种歧义的情况下，对于平衡和不平衡分布的同形异义词同样有效，无论是有监督训练还是几次训练。

    May, 2024

  • 使用通用编码将文本映射到相同的语音 - 正字空间中的机器翻译

    为了解决印地语交互下，由于语言间巨大的形态学复杂度而导致的低资源语言之间的翻译问题，本文提出了一种基于常见多语种拉丁编码的方法。使用这种方法，结合 Byte Pair Embedding，可以更好地利用印地语相似性，并通过将不同但相似的语言映射到同一正交 - 语音字符空间来改进翻译质量。在低资源条件下，我们验证了提出的方法，并且在大多数情况下得到了改进，在类似语言对（Gujarati-Hindi，Marathi-Hindi，Nepali-Hindi，Maithili - Hindi，Punjabi-Hindi 和 Urdu-Hindi）中，在一个案例中提高了约 10 BLEU 分数，而在远程和零 - shot 语言对中还提高了约 1 个 BLEU 分数。

    May, 2023

  • 波斯同音词消歧：利用 ParsBERT 提升句子理解力的新词义消歧数据集

    我们引入了一个新的波斯同音异形词消歧数据集，对各种嵌入进行了全面探索，并通过余弦相似度和分类等下游任务来评估其有效性。我们训练了多种机器学习和深度学习模型进行同音异形词消歧，并在准确度、召回率和 F1 分数等方面对模型的性能进行了细致分析，从而深入了解它们的优势和限制。

    May, 2024

  • 多语言翻译中基于人工语言的知识共享学习

    本篇论文研究了多语言神经翻译的基石，即跨语言共享表示；论文通过将编码器输出离散化为一系列条目的方式，提高了模型的鲁棒性和泛化能力，并尝试使用一种人造语言来分析模型的行为，发现类似的桥梁语言能够增加知识共享。

    Nov, 2022

  • 基于重建的神经机器翻译

    通过添加 reconstructor 到 encoder-decoder 框架中，从输出的 target sentence 的隐藏层中重构输入的 source sentence，改善了神经机器翻译的可靠性和翻译质量。

    Nov, 2016

  • 利用深度表示进行神经机器翻译

    本文提出了一种新的神经机器翻译方法，采用层聚合和多层注意力机制，通过引入辅助正则化项促进不同层捕获多样化信息，实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。

    Oct, 2018