May, 2023

在上下文中学习的同时保持连贯性：使用大型语言模型进行即时机器翻译的研究

PDF
TL;DR本文探讨了在上下文中学习（in-context learning）的概念，将其视为维持与上下文信息相一致的生成任务。通过实验表明，长期一致性可以作为下游翻译任务表现优异的良好指标，并表明在上下文机器翻译可以实现随时自适应（on-the-fly adaptation）的效果。
发现论文，激发创造
  • 机器翻译中的上下文示例选择

    本研究探讨了机器翻译中上下文例句的属性对于翻译质量的影响，其结论是单个优化的例句可以产生出色的效果，增加相似性的例句可以显著提高输出的翻译质量。

    Dec, 2022

  • 使用大型语言模型的自适应机器翻译

    本文旨在探究如何利用上下文学习的方法来提高实时自适应机器翻译的质量，并研究将强编码器 - 解码器模型和模糊匹配相结合以进一步提高翻译质量的方法。已在五个大不同的语言对上展开了实验。

    Jan, 2023

  • 利用上下文学习高效探索大型语言模型进行文档级机器翻译

    通过上下文学习，我们提出了一种上下文感知提示方法（CAP），使得大型语言模型能够通过上下文学习生成更准确、连贯、一致的翻译。CAP 结合多级注意力，在当前句子中选择与之最相关的句子作为上下文，从这些句子中生成一个摘要。随后，从数据存储中检索与摘要最相似的句子作为演示，有效地指导大型语言模型生成连贯一致的翻译。我们在各种文档级机器翻译任务中进行了大量的实验，结果表明我们的方法在零代词翻译（ZPT）和文学翻译任务中特别有效。

    Jun, 2024

  • 上下文学习作为隐式贝叶斯推断的解释

    本研究探讨了大语言模型中的上下文学习现象，并证明了基于长期相关性的预训练可以促进上下文学习。通过人工合成数据集，实验结果表明了模型规模对上下文学习的影响，以及例子顺序和零样本学习等现象。

    Nov, 2021

  • 大型语言模型中的上下文翻译发生在哪里

    通过层次上的上下文遮蔽实验，我们证明了大型语言模型中存在一个任务识别点，该点将任务编码到输入表示中，不再需要注意上下文，同时还观察到在层次遮蔽时的低性能与任务识别层之间的对应关系，利用这种冗余性可在提示 5 个示例时节省 45% 的计算量，任务识别在第 14/32 层达到，并且层次微调实验表明对于 MT 微调来说，最有效的层次是关键的任务识别层。

    Mar, 2024

  • GPT 模型中上下文学习翻译的解剖

    通过高质量、领域内示范的扰动，我们发现源端的扰动对翻译质量影响较小，而目标端的扰动可以极大地降低翻译质量，这表明输出文本分布在上下文学习翻译中提供了最重要的学习信号。我们提出了一个名为 Zero-Shot-Context 的方法，可以自动地在零样本提示中添加此信号，我们证明它提高了 GPT-3 的零样本翻译性能，甚至使其与少样本提示的翻译性能有竞争力。

    Oct, 2023

  • 通过先进的上下文学习增强机器翻译：GPT-4 改进的方法论策略

    GPT-4 利用上下文学习来提高翻译准确性，通过精心选择最有效的示例，该方法极大地增强了机器翻译的准确性，消除了针对特定任务的精细调优的需求，不仅提高了翻译准确性，还丰富了对微妙语言结构的理解。这种方法在机器学习中表示了一大步，利用 GPT-4 的固有能力提供准确、语境丰富和语言复杂的翻译，克服了语言障碍，为跨文化交流和全球协作开辟了新的道路。

    Nov, 2023

  • 自适应机器翻译的语言模型方法

    机器翻译与语言模型在领域适应中的应用

    Jan, 2024

  • 大语言模型的公平指导少样本提示

    本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

    Mar, 2023

  • 通过微调和上下文学习引导大型语言模型进行机器翻译

    通过使用适配器进行微调，我们可以改善大型语言模型在机器翻译方面的性能，并减少训练参数量，同时保持微调模式的效果，解决了少样本学习和过度生成的问题。

    Oct, 2023