使用 GPT-4 进行自动翻译后编辑
通过使用 Multidimensional Quality Metric (MQM) 注释中的外部反馈来引导大型语言模型 (LLMs) 自动对机器翻译进行后编辑,以提高翻译质量。使用 LLaMA-2 模型,通过改变反馈的特性,我们考虑了不同的提示策略,并对 LLM 进行微调以提高其利用所提供指导的能力,实验证明提示 LLMs 对机器翻译进行后编辑,可以改善 TER、BLEU 和 COMET 分数,微调有助于更有效地整合细粒度的反馈,并基于自动和人工评估进一步提高翻译质量。
Apr, 2024
本研究测试了在专业翻译中使用神经机器翻译(NMT)是否能够节省人工处理时间,并发现更好的 MT 系统确实能够减少英文到捷克文翻译过程中的修改次数,但是质量和编辑时间之间的关系并不是直接的关系,并且与短语词汇表机器翻译不同的是,BLEU 不能稳定预测时间或最终输出质量。
Sep, 2021
利用大型语言模型(LLM)进行神经机器翻译和自动后编辑,并借鉴低秩适配器微调的方法,在句子和文档级别的度量上取得显著改进,同时还研究了利用人工修正来减少后续翻译所需的编辑次数的实际应用场景。
Oct, 2023
本文旨在探究如何利用上下文学习的方法来提高实时自适应机器翻译的质量,并研究将强编码器 - 解码器模型和模糊匹配相结合以进一步提高翻译质量的方法。已在五个大不同的语言对上展开了实验。
Jan, 2023
通过比较 ChatGPT 和主流神经机器翻译(NMT)引擎将中文外交文本翻译成英文,本文评估了大型语言模型在翻译方面的能力。研究采用四个自动化度量和基于错误类型和六个分析指标的人工评估来检验 ChatGPT 和 NMT 引擎的翻译质量。研究结果表明,在不同的提示下,自动化度量对 ChatGPT 产生了类似的结果,而当提供翻译任务的示例或上下文信息时,人工评估者更倾向于给 ChatGPT 较高的评分。自动化度量与人工评估维度之间的两两相关性结果弱且不显著,这表明了两种翻译质量评估方法之间的差异。这些发现为 ChatGPT 作为一种可靠的机器翻译工具以及提示工程对其性能的影响提供了有价值的见解。
Jan, 2024
使用本地生成预训练转换器(GPT)模型进行零 - shot 黑盒多自然语言翻译成英文文本,评估并比较不同开源 GPT 模型在语言翻译准确性上的表现。
Apr, 2024
本文研究利用 Chat-GPT 建立的大型语言模型在文档级机器翻译中的应用,通过评估话语建模的能力,比较它与商业翻译系统和高级文档级机器翻译方法的性能,发现 Chat-GPT 在人类评估方面表现优异,同时揭示了话语建模的挑战和机遇。
Apr, 2023
OpenAI 开发的第四代 GPT 系列语言模型 GPT-4,具有更强的多语种能力、上下文理解能力和推理能力,可以应用于聊天机器人、个人助理、语言翻译、文本摘要和问答等领域,但也存在计算需求、数据需求和伦理问题等挑战。
May, 2023
本文研究大型语言模型(LLMs)在机器翻译(MT)中的应用,发现使用 GPT-3 等模型的翻译虽然在质量上相当或更好,但在语句的逐字逐句的程度上比标准 NMT 模型的翻译要少。此外,当翻译的句子中包含习语表达时,这种差异尤为明显。
May, 2023
该研究将大型语言模型(LLMs)如 GPT-4 与传统自然语言处理(NLP)任务相结合,利用思维链(CoT)提示技术从 GPT-4 中提取知识,并应用于改进较小模型 BERT 在命名实体识别(NER)任务中的效率和效果。通过采用两阶段训练过程,该方法在预训练阶段使用 GPT-4 标注数据,并结合蒸馏和原始人标注数据来完善模型。结果表明,我们的混合训练策略明显优于仅使用人工标注的模型,达到了更高的 F1 得分,并展示了在资源有限或封闭网络环境下的成本效益解决方案。研究还讨论了遇到的挑战,如 LLM 输出的可变性和偏向幻觉,提出了改进提示设计和注释选择的未来工作方向。我们的发现显示出 LLM 洞察力与传统 NLP 技术之间的有希望的协同作用,为更易于接近和强大的 NLP 应用铺平了道路。
Feb, 2024