ACLDec, 2021

利用训练于代码上的语言模型进行少样本语义解析

PDF
TL;DR本文研究使用具备上下文的例句，将语义解析问题转化为规范语句的近义词问题，旨在改善大型语言模型在少量训练数据下的性能，并探究在自然语言映射为代码的语义解析任务中，使用预训练模型 OpenAI Codex 能否表现更好。实验发现，相比等效的 GPT-3 模型，Codex 在这种任务中表现更佳，尤其是在像 Overnight 和 SMCalFlow 这样的数据集中。
发现论文，激发创造
  • 基于大型预训练语言模型的提示式语义解析的鲁棒性研究：以 Codex 为例的实证研究

    本文针对大型预备语言模型的鲁棒性进行了首个实证研究，结果表明最先进的代码 - 语言模型易受精心制作的对抗性例子攻击，提出了一些不需要大量标注数据或重型计算资源即可提高鲁棒性的方法。

    Jan, 2023

  • 受限语言模型实现少样本语义分析器

    利用大型预处理语言模型作为少型语义解析器，将输入 paraphrase 成类似英语的控制子语言，通过很少的数据和代码快速批量生成语义解析器，表现出令人惊讶的有效性，远超过基线方法。

    Apr, 2021

  • 编程语言模型是少样本通识学习者

    本文展示了通过将结构化常识推推理任务框架化为代码生成任务，使用代码生成语言模型（CODEX）可以在自然语言任务上优于 T5 和 GPT-3 等先进语言模型，即使任务并不涉及源代码。

    Oct, 2022

  • 代码的大型语言模型的系统评估

    通过对现有大型模型 (包括 Codex、GPT-J、GPT-Neo、GPT-NeoX-20B 和 CodeParrot) 的系统评估，我们填补了目前缺少大量模型和数据设计决策信息的空白，并提出了一个基于 GPT-2 架构的新模型 (PolyCoder)。我们发现虽然 Codex 本身并不是开源的，但现有的开源模型在某些编程语言上取得了接近的结果，并且在 C 编程语言中，PolyCoder 模型优于所有模型包括 Codex。

    Feb, 2022

  • 探索大型语言模型在解决编程问题中的鲁棒性

    该研究探讨了大型语言模型在编程问题中的应用，发现最新技术如 InstructGPT 和 ChatGPT 在处理指令时表现优异，而早期使用变量名如 Codex 的模型的性能受描述问题时表浅的指标较大影响。

    Jun, 2023

  • 使用几乎免费的代码生成工具？对预训练语言模型在代码上进行少量学习的研究

    本文研究使用预训练的代码语言模型 Codex 进行 few-shot 学习的三个代码操作和生成任务，实现手动开发工具所需的更少的工作量，并提供关于如何设计适当输入和影响模型大小的见解，结果表明 few-shot 语言模型是出乎意料地有效的，但还需要探索更多多样的提示方式来处理更多复杂的任务。

    Jun, 2022

  • 减少先验知识、增加单语数据的自然语言代码生成

    通过利用较大的单语语料库，本研究调查了一个基于通用 transformer 的 seq2seq 模型是否可以在最小限度的代码生成特定归纳偏差下实现与其他语言模型相当的性能，结果显示其在 Django 上实现了 81.03％的完全匹配准确性和 32.57 的 CoNaLa BLEU 分数，均达到了我们所知道的最好水平，这为在实践中构建准确的语义解析器提供了可能更容易的途径。

    Jan, 2021

  • 揭示大型语言模型在生成语义和跨语言克隆方面的潜力

    使用 GPT-3 模型进行代码的语义和跨语言克隆生成，研究结果表明在软件开发领域使用先进语言模型存在潜在应用和挑战。

    Sep, 2023

  • 对基于代码训练的大型语言模型的评估

    本文介绍了从 GitHub 公开可用的代码细调的 Codex 语言模型，并研究了其 Python 代码编写能力。在新的评估集 HumanEval 上，我们的模型可解决 28.8% 的问题，并发现重复采样模型是解决难题的有效策略。但我们也发现其局限性，最终讨论了代码生成技术的潜在影响。

    Jul, 2021

  • 探究代码语言模型的学习内容

    本研究旨在探究预训练语言模型的能力，在超越表面频率和共现之外理解代码的意义，结果表明该模型能够学习代码的计算语义。

    Jun, 2023