Aug, 2023

关于编程语言模型训练和评估的语言选择影响

PDF
TL;DR在这项研究中，我们通过使用基于 CodeBERT 的模型分析编程语言的表示来评估编程语言的相似性，发现 C++、Python 和 Java 等语言的标记表示彼此接近，而 Mathematica 和 R 等语言的标记表示存在明显的差异。我们的发现表明，这一现象可能在处理多种语言时导致性能挑战，因此我们建议在训练和评估未来的模型时选择多样化的编程语言。
transformer-based language modelsmultilingual capabilitiesprogramming languagescodebert-based modelsimilarity measure
发现论文，激发创造
  • 基于 Transformer 的语言模型用于软件漏洞检测

    本研究探讨了如何利用基于 transformer 的语言模型来检测软件漏洞，研究了在处理具有多个漏洞的 C/C++ 源代码时，这些模型的性能如何，并发现与当时的双向 LSTM 和双向 GRU 等其他模型相比，这些语言模型在漏洞检测方面具有更好的性能指标。此外，该论文还分析了流行的平台来有效地进行微调，并在选择平台时提供了建议。

    Apr, 2022

  • 预训练语言模型在低资源编程语言中的可转移性

    研究表明，在多语言数据集中使用语料库来微调预训练的多语言自然语言处理模型 (PLMs) 能够获得更高的性能，但是没有对单语言 PLMs 进行分析。此外，不同的编程语言之间的代码通常不能互换，我们调查了单语言和多语言 PLMs 对不同编程语言的影响，分析了超过一百个预训练模型和微调模型，结果表明，多语言 PLMs 具有更低的性能 - 时间比 (在微调期间的 BLEU，METEOR 或 MRR 分数)，我们提出的目标编程语言选择策略能够在减少微调时间的同时在代码摘要和代码搜索任务中实现更高的性能，并且我们的策略在不同代码长度上表现良好。

    Apr, 2022

  • 语言表征实际代表着什么？

    本文研究表明神经语言模型在多语言语料库上的训练可以用来学习语言的分布式表示，尤其是在语料库被翻译成英文的情况下。我们研究了语言表示与各种相似性之间的相关性和因果关系，发现结构相似是最能影响语言表示相似性的，而遗传关系则是一个混淆因素。这项研究可以促进自然语言处理和语言学的相互发展。

    Jan, 2019

  • 探索输出格式对代码翻译的大型语言模型评估的影响

    代码翻译的大语言模型综合评估以及通过策略组合和正则表达式提取源代码的研究结果揭示了代码翻译的实际性能和未来研究方向。

    Mar, 2024

  • 超越静态模型和测试集：在任务和语言间评测预训练模型的潜力

    本文提出了一种利用语言数据和语言类型学特征来预测跨语种语言模型性能的方法，以此取代传统基于翻译的方法评估系统，该方法表现良好并且能够可靠地估计模型在不同语言上的表现。

    May, 2022

  • 利用语言相似性进行零样本跨语言转移语言选择

    研究使用语言相似性来选择最佳的迁移语言，从而提高在情感分析、命名实体识别和依赖解析等不同自然语言处理任务中的跨语言迁移性能。

    Jan, 2023

  • 多语言模型中的语言表示研究

    通过研究多语言模型的语言学表示，我们发现针对低资源语言，以某个语言家族或地理位置为重点且由这些语言使用者构建的社区中心模型在区分同一语言家族的语言方面表现更好，有助于理解多语言模型的问题并提供改进方法。

    Oct, 2023

  • 学习跨多种编程语言的迁移

    大型语言模型（LLMs）在提高高资源编程语言的开发者生产力方面表现出色。然而，许多低资源编程语言由于缺乏标记样本而无法受益于 LLMs，本研究通过使用源语言数据来提高目标语言的模型性能，并针对 4 个任务进行了广泛实验，以探讨交叉语言迁移学习的工作原理和最佳选择源语言的方式。

    Oct, 2023

  • 测量编程语言分布的影响

    为了解决现有编程语言评估标准对一些流行编程语言（如 Go 或 Rust）的限制，该论文提出了一个基于执行的语言无关基准评估框架 BabelCode。同时，该论文还提出了一个新的代码翻译数据集 TP3，用于研究通过平衡 14 种语言在训练数据集中的分布来提高大规模语言模型在低资源语言任务中的性能。训练模型在平衡语料库上平均后，该模型在所有任务和语言上的 $pass@k$ 比基线模型高 12.34％。该策略在低资源语言上的 $pass@k$ 提高了 66.48％，而仅以 12.94％的代价降低了高资源语言的 $pass@k$，具有实际应用意义。

    Feb, 2023

  • 所有语言的语言模型难度是否相同？

    本文使用翻译文本开发了一种公平的跨语言语言模型比较方法，在 21 种语言中展示了复杂的屈折形态是导致不同语言性能差异的原因。

    Jun, 2018