Mar, 2023

优化 ChatGPT 在机器翻译中的应用

PDF
TL;DR本文旨在通过重新审视温度、任务信息和领域信息等方面，提出两种简单但有效的提示：任务特定提示 (TSP) 和领域特定提示 (DSP)，以进一步挖掘 ChatGPT 的翻译能力。我们表明：1) ChatGPT 的性能很大程度上取决于温度，较低的温度通常可以取得更好的性能；2) 强调任务信息可以进一步提高 ChatGPT 的性能，尤其是在复杂的机器翻译任务中；3) 引入领域信息可以引出 ChatGPT 的泛化能力，并提高其在特定领域的性能；4) 对于非英文中心的机器翻译任务，ChatGPT 倾向于产生幻觉，我们的提示可以部分解决这个问题，但仍需引起机器翻译 / 自然语言处理社区的重视。我们还探讨了高阶上下文学习策略的影响，发现一个 (负但有趣的) 观察结果：强大的思维链提示会导致逐字逐句的翻译行为，从而带来显著的翻译降解。
chatgptmachine translationtemperaturetask informationdomain information
发现论文，激发创造
  • 发挥 ChatGPT 在翻译中的威力：一项实证研究

    本文探究了如何用 ChatGPT 辅助机器翻译，提出了多种翻译提示。实验结果表明，ChatGPT 在高资源语言翻译方面的表现与专业翻译系统相当或更好，在低资源翻译方面略逊于专业翻译系统，并在多参考文献翻译和特定领域翻译方面表现出优异的性能。 此外，我们进行了几个快速提示，表现出不同基础提示的一致改进。这项工作提供了 ChatGPT 在翻译方面仍然具有巨大潜力的实证证据。

    Apr, 2023

  • 通过提示工程优化机器翻译：ChatGPT 可定制性的研究探讨

    这篇论文探讨了将翻译目的和目标受众整合到 ChatGPT 的提示中对所生成翻译质量的影响。研究强调了翻译过程中的前期准备阶段的重要性，通过借鉴以往的翻译研究、行业实践和 ISO 标准进行分析。研究发现，在像 ChatGPT 这样的大规模语言模型中加入适当的提示可以产生灵活的翻译，而传统的机器翻译尚未实现这一目标。通过使用 OpenAI 的词嵌入 API 进行余弦相似度计算，评估从从实际翻译员的视角主观和定性地进行，结果表明将翻译目的和目标受众整合到提示中确实可以修改所生成的翻译，从而在行业标准上普遍提高翻译质量。该研究还展示了 “良好的翻译” 概念的实际应用，特别是在营销文件和文化习语的背景下。

    Aug, 2023

  • ChatGPT 是否是一个好的翻译器？使用 GPT-4 作为引擎，是的

    该报告提供了 ChatGPT 在机器翻译方面的初步评估，包括翻译提示、多语言翻译和翻译健壮性。我们采用了 ChatGPT 建议的提示来触发其翻译能力，并发现候选提示通常表现良好，并显示出轻微的性能差异。在多个基准测试集上进行评估后，我们发现 ChatGPT 在高资源欧洲语言方面表现与商业翻译产品（如 Google Translate）相当，但在低资源或远程语言方面明显落后。对于远程语言，我们探索了一种有趣的策略，名为 “旋转提示”，它要求 ChatGPT 将源句翻译成高资源枢轴语言，然后再翻译成目标语言，这显著提高了翻译性能。关于翻译鲁棒性，ChatGPT 在生物医学摘要或 Reddit 评论上的表现不如商业系统，但在口语上表现良好。随着 GPT-4 引擎的推出，ChatGPT 的翻译性能得到了显著提高，即使对于远程语言，也可以与商业翻译产品相媲美。换句话说，ChatGPT 已经成为一个很好的翻译器！

    Jan, 2023

  • ChatGPT 在自然语言处理任务中的极限挑战

    通过添加模块的方式提高 ChatGPT 在各种自然语言处理任务中的表现，解决了 token，生成能力以及 LLMs 模型特有问题等方面的挑战并在 21 个数据集的 10 个代表性任务中获得了与监督学习基线相当甚至更好的表现.

    Jun, 2023

  • Gradable ChatGPT 翻译评估

    ChatGPT 对机器翻译领域产生了深远影响。本文提出了一种通用的分类法，定义了可分级的翻译提示，从表达类型、翻译风格、词性信息和明确陈述等方面来构建适用于不同翻译任务的具有不同特点的提示，以此验证方法的有效性。

    Jan, 2024

  • 误差分析提示使得大型语言模型的翻译评估类似于人类：以 ChatGPT 为例的案例研究

    本文介绍了新的提示方法（Error Analysis Prompting）, 结合 Chain-of-Thoughts 和 Error Analysis, 用于提高 ChatGPT 在机器翻译质量评估方面的性能，并发现了一些其作为 MT 评估器的局限性，结果表明，使用 Error Analysis Prompting，ChatGPT 可以在系统和段落级别上生成类似人类的 MT 评估。

    Mar, 2023

  • ChatGPT 是否能与神经机器翻译匹敌？一项比较研究

    通过比较 ChatGPT 和主流神经机器翻译（NMT）引擎将中文外交文本翻译成英文，本文评估了大型语言模型在翻译方面的能力。研究采用四个自动化度量和基于错误类型和六个分析指标的人工评估来检验 ChatGPT 和 NMT 引擎的翻译质量。研究结果表明，在不同的提示下，自动化度量对 ChatGPT 产生了类似的结果，而当提供翻译任务的示例或上下文信息时，人工评估者更倾向于给 ChatGPT 较高的评分。自动化度量与人工评估维度之间的两两相关性结果弱且不显著，这表明了两种翻译质量评估方法之间的差异。这些发现为 ChatGPT 作为一种可靠的机器翻译工具以及提示工程对其性能的影响提供了有价值的见解。

    Jan, 2024

  • 翻译简报和角色提示的比较分析

    探讨在 ChatGPT 的翻译任务中将翻译概念工具以及翻译者和作者的角色结合到提示设计中的有效性，结果表明，尽管某些要素有助于人与人之间的翻译任务沟通，但对于提高 ChatGPT 的翻译质量的作用有限，强调了对人机交互中涉及人机交互的新兴工作流中的翻译理论家和从业者如何发展基于人与人之间沟通范式的现有概念工具的探索性研究的需求。

    Feb, 2024

  • 基于大型语言模型的文档级机器翻译

    本文研究利用 Chat-GPT 建立的大型语言模型在文档级机器翻译中的应用，通过评估话语建模的能力，比较它与商业翻译系统和高级文档级机器翻译方法的性能，发现 Chat-GPT 在人类评估方面表现优异，同时揭示了话语建模的挑战和机遇。

    Apr, 2023

  • 一个多任务、多语言、多模态的 ChatGPT 推理、幻觉和交互评估

    本文提出了一个评估 ChatGPT 等交互式 LLM 的框架，使用公开数据集进行多任务、多语言和多模态方面的评估，发现 ChatGPT 能够生成多模态内容，但是其推理能力较差，存在幻觉问题，但通过 “提示工程” 可以与人类协作，提高性能。

    Feb, 2023