本文提出了一种基于回归函数的实例选择方法,结合了多种影响例子选择的因素,可以显著提高翻译质量,平均提高超过 2.5 个 COMET 点。
May, 2023
本文探讨了在上下文中学习(in-context learning)的概念,将其视为维持与上下文信息相一致的生成任务。通过实验表明,长期一致性可以作为下游翻译任务表现优异的良好指标,并表明在上下文机器翻译可以实现随时自适应(on-the-fly adaptation)的效果。
通过示例展示了大规模语言模型通过上下文学习实现各种任务的强大能力,为解决示例选择的不稳定性问题,提出了一种基于强化学习的算法用于识别泛化策略,以选择最佳示例以提高模型性能和泛化能力。
Nov, 2022
本文提出了一种基于语言模型的支持性示例挑选方案,通过两阶段的方法解决了 NP-hard 组合优化问题并使用多样性引导的波束搜索方法优化选定示例的性能,进一步实验证明了我们方法的有效性和 “支持性示例” 和 “上下文学习” 的相关特征。
Feb, 2023
本文提出了一种基于语法的上下文示例选择方法,通过计算依存树之间的句法相似性,结合了词级和语法级别的选择标准,实验证明语法能够有效增强机器翻译的上下文学习,获得 11 个翻译方向中 COMET 得分最高。
Mar, 2024
通过高质量、领域内示范的扰动,我们发现源端的扰动对翻译质量影响较小,而目标端的扰动可以极大地降低翻译质量,这表明输出文本分布在上下文学习翻译中提供了最重要的学习信号。我们提出了一个名为 Zero-Shot-Context 的方法,可以自动地在零样本提示中添加此信号,我们证明它提高了 GPT-3 的零样本翻译性能,甚至使其与少样本提示的翻译性能有竞争力。
Oct, 2023
本文旨在探究如何利用上下文学习的方法来提高实时自适应机器翻译的质量,并研究将强编码器 - 解码器模型和模糊匹配相结合以进一步提高翻译质量的方法。已在五个大不同的语言对上展开了实验。
Jan, 2023
本文介绍 EXnet 模型,以进行上下文学习,通过提供例子来促进跨任务泛化,特别是针对文本分类任务。
在这篇论文中,研究人员提出了一种新的自适应上下文学习 (AICL) 方法,通过预测分类器的 Softmax 后验概率来动态调整在推断中使用的示例数,以提高文本分类任务的性能。
GPT-4 利用上下文学习来提高翻译准确性,通过精心选择最有效的示例,该方法极大地增强了机器翻译的准确性,消除了针对特定任务的精细调优的需求,不仅提高了翻译准确性,还丰富了对微妙语言结构的理解。这种方法在机器学习中表示了一大步,利用 GPT-4 的固有能力提供准确、语境丰富和语言复杂的翻译,克服了语言障碍,为跨文化交流和全球协作开辟了新的道路。
Nov, 2023