Jun, 2022

使用几乎免费的代码生成工具？对预训练语言模型在代码上进行少量学习的研究

PDF
TL;DR本文研究使用预训练的代码语言模型 Codex 进行 few-shot 学习的三个代码操作和生成任务，实现手动开发工具所需的更少的工作量，并提供关于如何设计适当输入和影响模型大小的见解，结果表明 few-shot 语言模型是出乎意料地有效的，但还需要探索更多多样的提示方式来处理更多复杂的任务。
few-shot learningpre-trained language modelscode generationcodexnatural language description
发现论文，激发创造
  • 编程语言模型是少样本通识学习者

    本文展示了通过将结构化常识推推理任务框架化为代码生成任务，使用代码生成语言模型（CODEX）可以在自然语言任务上优于 T5 和 GPT-3 等先进语言模型，即使任务并不涉及源代码。

    Oct, 2022

  • 语言模型实现真正的小样本学习

    评估少量样本学习模型在没有未使用样本的情况下的表现，发现先前的工作对于 LM prompt 和超参数的选择方式大大低估了预训练语言模型在小样本学习方面的能力。

    May, 2021

  • FILM: 少样本图像分类如何从预训练语言模型中受益？

    本文提出了一种基于对比学习的新的 few-shot learning 框架，通过预训练语言模型解决视觉特征与文本嵌入之间的对齐问题，并引入度量模块来实现余弦相似度的泛化，通过双层优化结构中的 MAML 训练模型以提高可迁移性，此外，在多个基准测试上进行了大量实验证明我们方法的有效性。

    Jul, 2023

  • 让预训练语言模型成为更好的少样本学习者

    LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

    Dec, 2020

  • 语言模型是少样本学习器

    在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

    May, 2020

  • 利用训练于代码上的语言模型进行少样本语义解析

    本文研究使用具备上下文的例句，将语义解析问题转化为规范语句的近义词问题，旨在改善大型语言模型在少量训练数据下的性能，并探究在自然语言映射为代码的语义解析任务中，使用预训练模型 OpenAI Codex 能否表现更好。实验发现，相比等效的 GPT-3 模型，Codex 在这种任务中表现更佳，尤其是在像 Overnight 和 SMCalFlow 这样的数据集中。

    Dec, 2021

  • 预训练语言模型用于简短文本自然语言生成

    该文提出了少样本自然语言生成（Few-shot natural language generation）任务，设计了基于内容选择和语言建模的模型架构，表现良好。

    Apr, 2019

  • 少即是多：多模态少样本学习的深入研究

    为了解决深度学习中少样本学习的挑战，我们提出了一个简单而有效的框架，专门设计用于利用文本信息和语言模型，通过学习可调的提示来显式地利用预训练的语言模型的零样本能力，并且直接将视觉特征和文本特征进行推断而无需复杂设计的融合模块，进一步运用自集成和蒸馏来增强这些组件，在四个广泛使用的少样本数据集上进行了大量实验证明我们的简单框架取得了令人印象深刻的结果，特别值得注意的是，在 1-shot 学习任务中，我们的分类准确率平均超过基准方法 3.0%。

    Jan, 2024

  • 使用大型语言模型自动生成编程练习和代码解释

    本文研究了利用大型语言模型进行自然语言生成的能力，并应用于编程课程中常见的两种学习资源的制作。研究发现，在创建编程练习时，只需要输入关键词，即可显著影响编程概念和上下文主题的内容，同时也证明了大多数自动生成的内容是全新且合理的。这些结果表明，使用大型生成机器学习模型作为教学工具是有重要价值的，但在交付给学生之前需要一些监督来确保生成的内容质量。文章还探讨了 OpenAI Codex 及类似工具对初学者编程教育的影响，并强调了可能改善教学体验的未来研究方向。

    Jun, 2022

  • CodeIE：大型代码生成模型比小规模模型更适用于少样本信息提取

    本文提出利用 Code-LLMs 如 Codex 代替 NL-LLMs，通过设计以代码为形式的提示和将 IE 任务制定为代码生成任务，有效地解决了信息提取任务的难题，并在七个基准测试中显示其优越性。

    May, 2023