机器翻译系统组合中的投票建模
本文研究利用不同数据驱动系统之间的建模差异探讨如何应用投票策略和二级分类器来结合不同系统的输出,以提高词性标注任务的准确性,实验表明各种结合策略的标注器均优于它们的最佳组件,其中最佳组合标注器的错误率比最佳单个标注器低了 19.1%。
Jul, 1998
使用神经网络在配对设置下进行机器翻译评估的框架,以从一对假设中选择更好的翻译为目标。该框架将参考和两个假设的词汇、句法和语义信息嵌入到紧凑的分布式向量表示中,并提供了一个与人类判断相关的 MT 评估度量。
Oct, 2017
本文介绍一种利用神经网络在成对翻译评估中选出最佳翻译的新方法,该方法基于单词和句子嵌入形成紧凑的分布式向量表示,并利用多层神经网络对参考文本和两个翻译之间的交互进行建模,从而可以高效地学习和分类,且与人类评估结果的相关性不亚于当前技术水平的最高水平。
Dec, 2019
本研究针对机器翻译系统在句子级别上操作的限制,提出了利用文档级单语数据构建上下文感知翻译系统的方法,并通过结合现有句子级翻译模型和文档级语言模型,改进了现有方法,并提出了新的权重技术以提高系统组合的灵活性和降低计算开销。通过对四个不同的翻译任务进行全面评估,结果显示我们的改进能够显著提高面向文档的评分,并在计算上更高效。但在大多数情况下,通过再训练翻译系统进行反向翻译可以获得更好的结果。最后,我们探索了基于大语言模型的语言模型融合,在最新的大语言模型进展的基础上取得了一定的潜力。
Oct, 2023
该论文探究利用多种不同的神经模型进行翻译的组合,其中包括递归、卷积和自注意力模型,最终结合短语基 SMT 系统的 MBR 方案,相较于强 Transformer 模型集合,取得了小但一致的收益。
Aug, 2018
本文介绍了一种通过小型神经网络来预测混合模型权重的方法,以提高神经语言模型和 n 元语法模型的性能。实验结果表明,该方法能显著提高 One Billion Word benchmark 上的性能。
Apr, 2018
通过对多个大型语言模型 (LLMs) 进行假设集成的研究,对于基于 LLM 的机器翻译问题,我们探讨了如何提高生成文本的质量。我们尝试了多种假设集成技术,如 ChatGPT、LLaMA 和 Alpaca,并进行了综合研究,包括生成假设的方法(多个提示、温度采样和束搜索)以及生成最终翻译的策略(基于指令、基于质量的重新排序和最小贝叶斯风险解码)。我们的研究结果表明,MBR 解码是一种非常有效的方法,使用少量样本可以提高翻译质量,指令调整对假设的多样性和采样温度之间的关系具有很大影响。
Oct, 2023
我们在相同任务和输入上提出了一个机器翻译模型和 LLM 的即时集成方法。我们在 4 个语言对(两个方向)上进行了实验,并且数据量有所不同。我们发现,稍微差一些的 LLM 可以提高 NMT 模型的翻译质量,并且与 LLM 集成可以产生比两个更强的机器翻译模型集成更好的翻译结果。我们结合了 LLM 提示的各种技术,如上下文学习和翻译上下文。
Nov, 2023
本文旨在解决传统编码器 - 解码器架构中的长度固定向量制约所面临的性能瓶颈,并提出一种基于(软)搜索方式的新方法,在英法翻译任务中获得了与基于短语的模型相当的翻译性能,且(软)对齐结果与人类直觉相符。
Sep, 2014