- NiuTrans 一体化语音翻译系统在 IWSLT 2021 离线任务中的应用
本文描述了 NiuTrans 端到端语音翻译系统的提交,采用 Transformer 模型,结合 Conformer、相对位置编码和堆叠音频和文本编码来增强模型表现,在训练数据扩充方面采用了英文翻译到德文的方法,最终采用集成解码方法将多个模 - ACL多对多多语言神经机器翻译的对比学习
本论文旨在建立一个多对多的机器翻译系统,重点关注非英语语言方向的质量。为此,我们提出了一种训练方法 mRASP2,通过对不同语言的表示进行对比学习和数据增强来获得单一统一的跨语言翻译模型,该模型在英语为中心的方向中表现优异,在非英语方向中比 - 跨模态渐进训练的端到端语音翻译
提出了一种基于 Cross Speech-Text(XSTNet)网络的用于语音翻译的端到端模型,采用自监督预训练子网络作为音频编码器、多任务训练目标以及渐进式训练策略,并在 MuST-C En-X 和 LibriSpeech En-Fr - 学习指标的神经机器翻译奖励优化
研究探讨了基于模型衡量 BLEURT 度量标准是否有益于优化 NMT 并提出了一种基于对比分裂损失的奖励优化方法,结果显示 BLEURT 的奖励优化能够较大幅度提高度量分数,并且人类评估结果显示使用 BLEURT 训练的模型提高了翻译的充分 - ACL关于视觉语言导航指令的评估
该研究发现 BLEU、ROUGE、METEOR 和 CIDEr 指标无法有效评估基于视觉与语言的导航生成器自动生成的导航指令,提出了一种不依赖参考指令的指令 - 轨迹相容性模型,并建议在有参考指令时使用 SPICE 进行评估。
- EMNLPTransformer 模型的查询键归一化
本文提出 QKNorm 方法,对 Transformer 神经网络的 attention 机制进行优化,在不损失表现力情况下,通过可以学习的参数替代平方根作为归一化时分母,减小了 softmax 函数的任意性饱和,实验表明在 5 种语言翻译 - EMNLP高效批次束搜索流式处理方法
通过 GPU 架构上的可变长度解码,我们提出了一个高效的批处理策略。相比固定宽度梁搜索和变宽度梁搜索,我们的方法降低了运行时长,同时匹配基准的 BLEU。此外,实验证明我们的方法可以加速其他领域的解码,如语义和句法分析。
- ACL利用多语言技术进行非监督式稀有语言机器翻译
本文研究了针对低资源稀有语种的无监督翻译问题,提出了一个三阶段训练方案的多语种模型,结合了单语和辅助并行数据,取得了明显优于当前无监督基准线的效果。
- CodeBLEU: 一种自动评估代码合成的方法
本研究提出 CodeBLEU 作为一种新的自动代码评估指标,它可通过 n-gram 匹配吸收 BLEU 的优点,并通过抽象语法树和数据流注入代码语法和语义,实现对三种代码合成任务的质量评估,结果表明,与 BLEU 和准确性相比,我们的提出的 - CVPR2020 VATEX 视频字幕挑战赛 NITS-VC 系统
本文介绍了用于视频字幕挑战的框架,采用编码器 - 解码器的方法,其中使用 3D 卷积神经网络对视频进行编码,并使用两个 LSTM 递归网络进行解码,最终输出是两个 LSTM 的输出元素乘积,而此模型可以在公共和私人测试数据集上实现 BLEU - EMNLP提高 BLEU 参考覆盖率的多样化自动释义研究
通过现代神经转述技术研究 BLEU 误差函数在单一参考翻译文本下的局限性,探索使用多样化、针对性的参考翻译文本来提高 BLEU 与人类评价的相关性,实验结果表明多样化的自动生成的参考翻译文本的确能够改进 BLEU 的表现,但特定针对被评估机 - 重温循环翻译以进行质量评估
本文介绍了一种利用语义嵌入进行往返翻译的质量估计技术,相较于以往的 WMT 2019 质量估计任务提交的方法,我们的方法与人类判断之间的相关性最高,且在往返翻译选择上表现鲁棒性较佳。此外,该方法能够针对 SMT 和 NMT 等多种类型的前向 - IJCAI神经机器翻译中充分利用上下文的探索
通过引入全局上下文,我们提出了一种新的文档级 NMT 框架,用于处理包含任意数量句子的文档,并且可以在标准数据集上优雅地训练,结果表明我们的模型优于 Transformer 基线和之前的文档级 NMT 模型。
- MM乱序翻译问题:去噪 UNMT 问题
该论文提出了一种针对 Unsupervised 神经机器翻译(UNMT)系统中的错误类型 - 了解到的(Undreamt)中存在的 Scrambled Translation 问题,通过重新训练策略,该问题得到了有效的解决。
- 朝向神经语言评估器
该研究回顾了 BLEU 和 ROUGE 两种不足,并提出了衡量文本摘要的好指标需要具备的标准以及使用最近的基于 Transformers 的语言模型来评估参考摘要与假设摘要的具体方法。
- ACL超越 BLEU:利用语义相似性训练神经机器翻译
本文提出了一种基于语义相似度的代替奖励函数来优化 NMT 系统,在四种不同的语言翻译成英语的情况下,本文的方法不仅能提高 BLEU 和语义相似度的评估准确性,而且优化过程更快。
- 文本风格转移:重新训练、汇报错误、与重写比较
本文针对样式转移的标准评估方法提出了几个问题,为了解决这些问题,我们建议通过计算原始文本和人类重写文本之间的 BLEU 来进行基准测试,并提出了三种优于现有技术的新体系结构。
- ACL探索音素级别的端到端语音翻译表示
研究采用类音素语音表示替代传统帧级语音特征作为源输入,在端到端的语音翻译任务中,相比传统方法,模型性能有显著提高,同时训练时间减少了 60%。
- ACL重新审视低资源神经机器翻译:以个案研究为例
本文探讨神经网络机器翻译(NMT)在低资源条件下性能下降的原因,提出适应低资源环境时的注意事项和最佳实践,并在德语 - 英语和韩语 - 英语低资源翻译数据集上进行实验,发现经过优化的 NMT 系统可以在没有使用其他语言辅助数据的情况下,比以 - EMNLPBLEU 不适合于文本简化的评估
本文表明,BLEU 评估指标并不适合评估句子分裂等结构方面的文本简化操作,并展示了 BLEU 评分与语法性和保留意义参数之间的低或无关性,并且,BLEU 评分通常与简洁性呈负相关,实质上惩罚了简单的句子。