EMNLPNov, 2023

利用可比语料和多个参考文献进行代码翻译的数据增强

PDF
TL;DR通过构建可比较的语料库和多重参考翻译，以及使用自动生成的翻译参考和单元测试进行筛选，我们提出了两种数据增强技术来克服不同编程语言之间的代码翻译挑战，并通过平均 7.5% 的计算准确度改进了 CodeT5 的 Java、Python 和 C++ 代码翻译性能。
发现论文，激发创造
  • 探索代码生成任务的数据增强技术

    本文探讨了自然语言处理、迁移学习和数据利用等技术在编程语言任务中的应用以及基于增强方法的模型训练，该方法可使代码翻译和摘要的准确率分别提高至 6.9% 和 7.5%。

    Feb, 2023

  • AVATAR: 用于 Java-Python 程序翻译的并行语料库

    本文介绍了一个包括 Java 和 Python 的 8,475 个编程问题和解决方案的数据集，以及在此数据集上进行的基于监督学习的程序翻译模型的实验。实验结果表明，这些模型在词汇匹配方面表现良好，但在语法和数据流匹配方面表现出欠缺。

    Aug, 2021

  • 低资源神经机器翻译的数据增强

    本研究提出了一种以数据增强为基础的方法，针对低频词汇在合成的新语境中生成新的句子对，以提高神经机器翻译系统的翻译质量。在模拟低资源环境中的实验结果显示，相对于基准和回译方法，我们的方法能够提高翻译质量，最高可提高 2.9 BLEU 分数。

    May, 2017

  • 利用生成式语言模型进行神经机器翻译的数据增强

    通过利用大规模语言模型如 ChatGPT，我们探索了基于提示的数据增强方法，用于产生合成的平行语料库，比较了三种不同提示的方法，并使用两个评估指标来衡量所生成的合成数据的多样性。这种方法无需额外的模型训练成本，与后向翻译等其他增强方法相比，提高了未增强基线的 0.68 BLEU 分数。

    Jul, 2023

  • 探索代码搜索中的表示层增广

    本研究提出了一种在表示级别进行数据增强的方法来提高代码搜索模型的性能，其中包括三种新的增强方法，并理论和实验评估了这些方法的优势。

    Oct, 2022

  • 代码交替文本的机器翻译数据增强技术：比较研究

    在埃及阿拉伯语 - 英语混合代码生成中，我们比较了词汇替换、语言理论和回译三种流行的增强方法，通过人工评估评估了这些方法在机器翻译上的效果和增强质量。结果显示，基于回译和基于代码交替预测的词汇替换方法在两个任务中表现最佳，而在缺少代码交替并行数据的情况下，语言理论和随机词汇替换方法实现了类似的结果。

    Oct, 2023

  • 通过图片实现低资源语言的实用可比数据收集

    通过挑选一组被认为关键的图像，并在源语言和目标语言中分别获取标题，我们提出了一种为语言贫乏地区的高质量可比较的培训数据、从单语注释人员中收集数据的方法。我们使用我们的方法创建的英印比较语料库的人工评估表明，81.1％的配对具有可接受的翻译效果，仅有 2.47％的配对根本不是翻译。此外，我们通过在语料库上进行机器翻译和词典提取两项实验来证明了我们方法所收集的数据集的潜力。

    Apr, 2020

  • 基于词典的形态学感知数据增强技术用于机器翻译低资源语种

    我们提出了一种依赖于词法 - 句法信息和双语词典以及少量种子并行数据来合成并行数据的策略，该方法在 14 种语言中（28 个英语 <->X 对）的实验中展示了性能的一致提升。

    Feb, 2024

  • 利用自动化单元测试进行无监督代码转换

    通过利用自动化单元测试系统过滤掉无效翻译从而创建一个完全测试的平行语料库，并利用这个过滤后的数据集对非监督模型进行微调，显著减少所产生的噪声，在 Java $ o$ Python 和 Python $ o$ C++ 方向上，与所有先前的最佳方法相比，分别取得了超过 16% 和 24% 的优异成绩，将错误率降低了超过 35%。

    Oct, 2021

  • 软件工程句对冲突和重复检测的数据增强

    本研究探讨使用文本数据增强技术如洗牌、反向翻译和改写等，以句对分类的方式增强软件工程任务中的冲突与重复检测效果。结论发现，数据增强技术对六个软件文本数据集的所有文本句对效果有显著影响，但在数据集相对平衡时，使用增强技术可能会对分类效果产生负面影响。

    May, 2023