Nov, 2023

通过先进的上下文学习增强机器翻译：GPT-4 改进的方法论策略

PDF
TL;DRGPT-4 利用上下文学习来提高翻译准确性，通过精心选择最有效的示例，该方法极大地增强了机器翻译的准确性，消除了针对特定任务的精细调优的需求，不仅提高了翻译准确性，还丰富了对微妙语言结构的理解。这种方法在机器学习中表示了一大步，利用 GPT-4 的固有能力提供准确、语境丰富和语言复杂的翻译，克服了语言障碍，为跨文化交流和全球协作开辟了新的道路。
发现论文，激发创造
  • 使用大型语言模型的自适应机器翻译

    本文旨在探究如何利用上下文学习的方法来提高实时自适应机器翻译的质量，并研究将强编码器 - 解码器模型和模糊匹配相结合以进一步提高翻译质量的方法。已在五个大不同的语言对上展开了实验。

    Jan, 2023

  • GPT 模型中上下文学习翻译的解剖

    通过高质量、领域内示范的扰动，我们发现源端的扰动对翻译质量影响较小，而目标端的扰动可以极大地降低翻译质量，这表明输出文本分布在上下文学习翻译中提供了最重要的学习信号。我们提出了一个名为 Zero-Shot-Context 的方法，可以自动地在零样本提示中添加此信号，我们证明它提高了 GPT-3 的零样本翻译性能，甚至使其与少样本提示的翻译性能有竞争力。

    Oct, 2023

  • 在上下文中学习的同时保持连贯性：使用大型语言模型进行即时机器翻译的研究

    本文探讨了在上下文中学习（in-context learning）的概念，将其视为维持与上下文信息相一致的生成任务。通过实验表明，长期一致性可以作为下游翻译任务表现优异的良好指标，并表明在上下文机器翻译可以实现随时自适应（on-the-fly adaptation）的效果。

    May, 2023

  • 机器翻译中的上下文示例选择

    本研究探讨了机器翻译中上下文例句的属性对于翻译质量的影响，其结论是单个优化的例句可以产生出色的效果，增加相似性的例句可以显著提高输出的翻译质量。

    Dec, 2022

  • 利用上下文学习高效探索大型语言模型进行文档级机器翻译

    通过上下文学习，我们提出了一种上下文感知提示方法（CAP），使得大型语言模型能够通过上下文学习生成更准确、连贯、一致的翻译。CAP 结合多级注意力，在当前句子中选择与之最相关的句子作为上下文，从这些句子中生成一个摘要。随后，从数据存储中检索与摘要最相似的句子作为演示，有效地指导大型语言模型生成连贯一致的翻译。我们在各种文档级机器翻译任务中进行了大量的实验，结果表明我们的方法在零代词翻译（ZPT）和文学翻译任务中特别有效。

    Jun, 2024

  • 上下文学习的主动样本选择

    通过示例展示了大规模语言模型通过上下文学习实现各种任务的强大能力，为解决示例选择的不稳定性问题，提出了一种基于强化学习的算法用于识别泛化策略，以选择最佳示例以提高模型性能和泛化能力。

    Nov, 2022

  • GPT-$3$ 中适宜的上下文示例是什么？

    本文提出一种基于召回模块的提示选择策略，以更好地利用 GPT-3 的少样本能力，并在自然语言处理和生成任务中实现了显著的性能提升，特别是在表格转文本和开放领域问答等任务中。

    Jan, 2021

  • 上下文学习作为隐式贝叶斯推断的解释

    本研究探讨了大语言模型中的上下文学习现象，并证明了基于长期相关性的预训练可以促进上下文学习。通过人工合成数据集，实验结果表明了模型规模对上下文学习的影响，以及例子顺序和零样本学习等现象。

    Nov, 2021

  • 上下文学习如何帮助提示调整？

    该研究通过实验测量了几种不同的文本生成任务原始模型的表现，对比分析了几种参数有效的适应方法（如提示调整、上下文学习和指导性提示调整），并通过 IPT 探究了这些方法之间的交互作用和优缺点。

    Feb, 2023

  • 超越词匹配：句法改善机器翻译上下文示例选择

    本文提出了一种基于语法的上下文示例选择方法，通过计算依存树之间的句法相似性，结合了词级和语法级别的选择标准，实验证明语法能够有效增强机器翻译的上下文学习，获得 11 个翻译方向中 COMET 得分最高。

    Mar, 2024