Feb, 2024

大型语言模型 “ad referendum”: 在法律领域的机器翻译水平如何？

PDF
TL;DR这项研究评估了两个最先进的大型语言模型（LLMs）与传统神经机器翻译（NMT）系统在法律领域的四种语言对中的机器翻译（MT）质量，结合自动评估度量标准（AEMs）和专业翻译员的人工评估（HE）来评估翻译的排序、流畅性和足够性。结果表明，虽然谷歌翻译在 AEMs 中的表现通常优于 LLMs，但人工评估员认为 LLMs，特别是 GPT-4，在产生上下文足够且流畅的翻译方面略优或相当。这种差异表明 LLMs 在处理专业法律术语和背景方面具有潜力，并突出了人工评估方法在评估 MT 质量方面的重要性。本研究强调了 LLMs 在专业领域的不断进化能力，并呼吁对传统的 AEMs 进行重新评估，以更好地捕捉 LLM 生成的翻译的细微差别。
machine translationlarge language modelsneural machine translationautomatic evaluation metricshuman evaluation
发现论文，激发创造
  • 大语言模型的多语言机器翻译：实证结果和分析

    本文系统地研究了大型语言模型在多语言机器翻译中的优势和挑战，并在 102 种语言上评估了 XGLM、OPT、BLOOMZ 和 ChatGPT 四种常见模型的性能。在进一步分析中，本文发现大型语言模型在多语言机器翻译中具有一些新的工作方式。

    Apr, 2023

  • 上下文细化的翻译：大型语言模型用于句子和文档级后编辑

    利用大型语言模型（LLM）进行神经机器翻译和自动后编辑，并借鉴低秩适配器微调的方法，在句子和文档级别的度量上取得显著改进，同时还研究了利用人工修正来减少后续翻译所需的编辑次数的实际应用场景。

    Oct, 2023

  • 使用大型语言模型的自适应机器翻译

    本文旨在探究如何利用上下文学习的方法来提高实时自适应机器翻译的质量，并研究将强编码器 - 解码器模型和模糊匹配相结合以进一步提高翻译质量的方法。已在五个大不同的语言对上展开了实验。

    Jan, 2023

  • 基于大型语言模型的文档级机器翻译

    本文研究利用 Chat-GPT 建立的大型语言模型在文档级机器翻译中的应用，通过评估话语建模的能力，比较它与商业翻译系统和高级文档级机器翻译方法的性能，发现 Chat-GPT 在人类评估方面表现优异，同时揭示了话语建模的挑战和机遇。

    Apr, 2023

  • 基于大型语言模型的机器翻译的有效消歧

    通过利用大型语言模型，我们研究了在机器翻译中解决语义歧义的能力，并提出了两种改进方法，通过上下文学习和在精心策划的歧义数据集上的微调，我们的方法在五种语言方向中有四种能够匹敌或胜过 DeepL 和 NLLB 等最先进的系统，为将大型语言模型有效地用于歧义消解的机器翻译提供了有价值的见解。

    Sep, 2023

  • GPT-4 对人类翻译员的全面评估：跨语言、领域和专业水平的翻译质量

    本研究针对大规模语言模型（LLMs），特别是 GPT-4，在多语言对和领域中，对不同翻译专业水平的人类翻译员进行全面评估，发现 GPT-4 在总体错误数量上表现与初级翻译员相当，但在中级和高级翻译员之下。我们还观察到在不同语言和领域中性能不平衡，GPT-4 的翻译能力从资源丰富的方向逐渐减弱。此外，我们定性地研究了 GPT-4 和人类翻译员的翻译结果，发现 GPT-4 的翻译存在逐字翻译的问题，而人类翻译员有时过于思考背景信息。据我们所知，本研究是首次对 LLMs 与人类翻译员进行评估并分析其输出之间的系统差异，为我们了解基于 LLM 的翻译目前的状态和潜在限制提供了有价值的见解。

    Jul, 2024

  • 适应大型语言模型的文档级机器翻译

    探索大型语言模型在文档级机器翻译中的适应过程及性能，研究了提示策略及精细调优方法对翻译结果的影响，发现部分专用模型的翻译性能甚至超过 GPT-4，但仍面临着偏离翻译问题的挑战，同时进行了深入分析，包括翻译错误、平行文件的规模关系、领域外泛化和零翻译跨语言转移等，为未来文档级机器翻译方面的研究提供了基础。

    Jan, 2024

  • 大型语言模型的合法性及局限性：构建强大的法律语言模型的论证

    近期自然语言处理（NLP）在法律领域的应用面临诸多挑战，包括极长的序列长度、专业词汇仅律师才能理解以及数据不平衡。大型语言模型（LLMs）的出现为 NLP 在法律领域提供了新的机会。本研究旨在量化普通 LLMs 与领域特定模型在法律领域的表现，通过比较三个通用 LLMs（ChatGPT-20b，LLaMA-2-70b 和 Falcon-180b）在 LexGLUE 合同条款分类基准测试集上的零样本性能。尽管 LLMs 未经专门训练法律数据，但我们观察到它们在大多数情况下仍能正确分类主题。然而，我们发现它们的微 F1 / 宏 F1 性能比在法律领域微调的较小模型要低 19.2/26.8％，这凸显了需要更强大的法律领域 LLMs。

    Nov, 2023

  • METAL：面向多语言元评估

    我们提出了一个针对多语言情景下 LLMs 作为评估器的端到端评估框架，并创建了一个用于评估 LLM-based 评估器的精心策划的数据集，该数据集覆盖 10 种语言，包含本族语言者对摘要任务的判断。我们比较了基于 GPT-3.5-Turbo、GPT-4 和 PaLM2 创建的 LLM-based 评估器的性能，结果表明，基于 GPT-4 的 LLM-based 评估器在各种语言中表现最好，而 GPT-3.5-Turbo 的表现不佳。此外，我们对 LLM-based 评估器提供的推理进行分析，发现它往往与人类评判所提供的推理不一致。

    Apr, 2024

  • 超越指标：评估 LLM 在文化细微、资源贫乏的真实场景中的有效性

    评估了在多语言和代码混合通信环境中使用的七个领先大型语言模型（LLMs）的情感分析性能，发现 GPT-4 和 GPT-4-Turbo 在理解语言输入和处理上下文信息方面表现出色，与人的一致性高且决策过程透明，但在非英语环境中的文化细微差别方面存在不稳定性，结果强调了 LLMs 不断改进以有效应对文化差异、资源有限的真实世界环境的必要性。

    Jun, 2024