Aug, 2024

弥合语言差距：通过零-shot跨语言迁移增强多语言提示基础的代码生成

HTML
PDF
TL;DR本研究解决了大语言模型（LLMs）在非英语提示下代码生成质量存在的显著差距问题。提出了一种零-shot跨语言方法，利用神经投影技术将多语言嵌入映射到LLMs的令牌空间，从而有效提高了代码生成质量。研究结果表明，该方法在全球多语言编程支持方面具有重要影响，推动了更具包容性的代码生成环境。
发现论文，激发创造
  • ERNIE-Code: 面向编程语言的跨语言预训练技术（超越英语中心）

    本文介绍了一种面向多语言自然语言和编程语言的语言模型ERNIE-Code，提供了通用跨语言预训练的两种方法，取得了很好的性能表现，包括零样本提示的跨语言代码摘要和文本翻译。

    Dec, 2022

  • 多语言大型语言模型还不能切换语言

    本文通过大量实证研究探索了多语言大型语言模型在涉及语种切换的情况下情感分析、机器翻译和单词级别语言识别等任务的表现。研究显示，虽然这些模型在使用零 / 少量提示时在某些任务中表现出色，但与较小的微调模型相比，它们的性能仍然有所不适。因此，研究者认为未来需要进一步研究来完全弥合这一差距。

    May, 2023

  • 利用具有英语优势的多语言提示，推动低资源语言的LLMs民主化

    本文提出了一种无监督提示方法，使用高资源语言的合成样本以在低资源语言上进行多语言总结，并且表明该方法在许多低资源语言上胜过有监督的提示。

    Jun, 2023

  • CodeFuse-13B：一个预训练的多语言编码大型语言模型

    CodeFuse-13B是一个针对包括英文和中文提示的代码相关任务设计的开源预训练代码LLM，通过使用高质量预训练数据集，在真实世界使用场景、人工评估和特别设计的中国提示评估中进行了广泛实验，结果表明在代码生成、代码翻译、代码注释和测试案例生成等实际场景中，CodeFuse比其他模型在面对中文提示时表现更好。

    Oct, 2023

  • 利用语言模型进行机器翻译的上下文代码切换

    通过对比多个LLM模型，在机器翻译任务中，我们发现相对较简单的模型性能优于多语言大型语言模型，表明多语言大型语言模型在上下文代码切换方面的有效性受到训练方法的限制。与之相反，当相对较小的模型在定制的数据集上进行训练和微调时，可能会产生更好的结果。

    Dec, 2023

  • HumanEval-XL：一种面向跨语言自然语言通用性的多语言代码生成评估基准

    使用人工评估的大规模多语言代码生成基准，填补了在多语言代码生成领域中评估自然语言泛化能力的空白。

    Feb, 2024

  • IRCoder: 中间表示使语言模型具有鲁棒性的多语言代码生成器

    通过利用编译器中间表示来改进代码语言模型的多语言能力，并促进跨语言转换，该研究探讨了在代码语言模型中利用编译器中间表示的可行性和优势，构建了一个并行数据集 SLTrans，并通过对不同规模的代码语言模型进行连续因果语言建模训练，从而在各种代码生成任务和度量标准中实现了显著和一致的提升。

    Mar, 2024

  • 关于代码生成的大型语言模型调查

    基于大规模语言模型的代码生成领域的综述，介绍了对LLMs在代码生成领域的最新进展、数据处理、性能评估、实际应用，对学术与实践之间的差距进行了分析，提出了关键挑战和机遇，并提供了一个资源网站以记录和传播该领域的最新进展。

    Jun, 2024

  • 超越英语的LLMs：通过跨语言反馈扩展LLMs的多语言能力

    通过构建两个数据集，将 LLaMA 和 BLOOM 的多语言能力扩展到 100 种语言，并使用 DPO 算法对 LLMs 进行与人类反馈的对齐，实现了对 100 种语言的支持，从而定义了最新的、支持 100 种语言的多语言 LLMs 的最新技术。

    Jun, 2024

  • 代码混合：测量多语言大型语言模型的能力的新方法

    本研究针对多语言大型语言模型在代码混合（即在一次发言中混合多种语言）的机器翻译能力不足的现状，提出了一种新的规则基础提示技术。研究发现，尽管通过k-shot提示（$k\in\{0, 1, 10, 20\}$）通常能取得最佳效果，但规则基础提示在生成独特的代码混合句子方面展现出潜力，并创建了涵盖五种语言对的黄金标准代码混合数据集。

    Oct, 2024