深度神经网络在平行句子提取中的应用
该研究提出了一种基于双向循环神经网络的并行句子抽取方法,旨在解决多语言自然语言处理应用中数据稀疏性的问题。通过从维基百科文章中提取句子对来训练机器翻译系统,实验证明采用该方法能够显著提高翻译性能。
Jun, 2018
本文提出了一种无需人工标注的数据集构建方法,使用双语文本语料来 fine-tune Transformer 语言模型,并加入一个循环池层构建出有效的特定语种句子编码器,该方法在单张图形卡上使用不到一天时间训练,在波兰语的八个语言任务上实现了高性能,超越了最好的多语言句子编码器。
Jul, 2022
该研究系统研究了端到端的神经机器翻译的上下文向量作为句子的交互语言表征的功效,并在可比较语料库中取得了较高的平行句子识别准确率。
Apr, 2017
通过联合多语句嵌入学习并利用在不同语言中句子之间的距离来过滤嘈杂的平行数据和在大型新闻集合中挖掘平行数据。不同于翻译系统的体系结构,这种方法可以应用于多种语言对,并在 BUCC 共享任务中获得有竞争力的结果,用于识别可比较语料库中的平行句子。
May, 2018
该研究提出了一种有效的并行语料库挖掘方法,使用双语句子嵌入进行训练,通过引入硬负例来实现。该方法是基于语义相似度的,结果表明该方法可以用于重建平行文本,从而训练出 NMT 模型,与使用原始数据训练的模型相差不大。
Jul, 2018
本文提出了一种基于多任务学习方法,利用源端的单语言语言资源来解决神经机器翻译中由于缺少平行文本造成模型质量差的问题,并采用语义分析、句法分析和命名实体识别等辅助任务以将语义和 / 或句法知识注入到翻译模型中,实现了在英法、英波斯和英越三种翻译任务上的有效性验证。
May, 2018
本研究提出了一种新的无监督方法,通过使用单语数据来获得跨语言句子嵌入,产生了合成平行语料库,使用预训练的跨语言掩码语言模型(XLM)对其进行微调以得到多语言句子表示,并在两个平行语料库挖掘任务上评估了表示的质量,结果表明,这种方法可以比基准 XLM 模型获得高达 22 个 F1 点的改进。此外,我们还观察到,单个合成的双语语料库能够改善其他语言对的结果。
May, 2021
通过使用网页爬取方法和机器翻译系统,本文提出了一种从维基百科文章中获取主题对齐比较语料库的方法,并且能够提取噪音干扰较小的平行句子。
Sep, 2015
本研究利用深度神经网络模型自动检测双语并行句对中的语义差异,该模型能够在无需任何手动注释的情况下训练任何并行语料库,我们显示出我们的语义模型比基于单词对齐的表层特征的模型更准确地检测到差异,并且发现这些差异对神经机器翻译至关重要。
Mar, 2018
本文探讨在自然语言处理上的同义词检测,基于深度学习的方法结合卷积神经网络和长短时记忆网络有效解决了用户生成的短文本同义词检测上的挑战,取得了优越表现。
Dec, 2017