Oct, 2023

大型语言模型感知语境学习用于代码生成

PDF
TL;DR基于大型语言模型的代码生成中，我们提出了一种名为 LAIL 的新型学习选择方法，通过考虑给定需求和示例时生成真实程序的概率来估计候选示例，并通过概率反馈对候选示例进行标记，使用对比学习目标训练一个有效的检索器，从而提高了代码生成的性能。在 CodeGen 和 GPT-3.5 方面，LAIL 在三个代表性数据集上分别比基准线提高了 11.58％、6.89％、5.07％和 4.38％、2.85％、2.74％的 Pass@1 指标。
large language modelsin-context learningcode generationexample selectionllm-aware in-context learning
发现论文，激发创造
  • 提升上下文学习，用于代码生成

    本文旨在提出一种名为 AceCoder 的新型代码生成方法，应用于六种已预先训练的语言模型，并在三个公共基准测试中进行了评估，结果显示 AceCoder 可以显著提高 PTLM 在代码生成方面的性能。

    Mar, 2023

  • 归纳偏差学习：用大型语言模型生成代码模型

    大语言模型由于上下文学习能力 (ICL) 受到关注。本文提出了一种新的学习方法，称为归纳偏差学习 (IBL)，将 ICL 和代码生成技术相结合。通过使用 IBL，生成的代码模型在预测准确性方面表现出与 ICL 和机器学习模型可比拟甚至超过的效果。

    Aug, 2023

  • 具有大型语言模型的语境中感知歧义学习

    通过对三个文本分类任务的广泛实验，我们发现在选择演示示例时，不仅选择语义上相似的演示示例有益，还选择那些有助于解决测试示例周围固有标签模糊性的演示示例。有趣的是，我们发现包括之前被 LLM 错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。

    Sep, 2023

  • 多标签文本分类的上下文学习

    利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

    Sep, 2023

  • 语言模型利用交叉任务上下文学习解决数据稀缺的新任务

    该研究论文探讨了大型语言模型 (LLMs) 是否能够根据不同任务示例的上下文信号来解决新任务，并设计了一个跨任务提示设置，并表明 LLMs 在无需上下文提示的情况下能够获得显著的性能提升，同时展示了模型激活相似性与跨任务示例效果之间的强相关性。

    May, 2024

  • 选择哪些示例进行上下文学习？实现有效和高效的选择

    通过提出 AdaICL 算法，本研究在大型语言模型中探索了一种基于主动学习的方法，通过优化自适应的示例选择策略，提高了性能和预算效率。

    Oct, 2023

  • 面向情境学习的信息丰富的少样本提示与最大信息增益

    本文研究了大型语言模型 (Large Language Models, LLMs) 在上下文学习 (In-context Learning, ICL) 方面的能力和稳定性问题，并提出了通过量化数据示例的信息增益 (Information Gain, IG) 来选择具有最大信息增益的样本的方法，同时引入了模板偏差 (template bias) 的校准策略，实验证明该方法能够显著提升三种 LLMs 在六个分类任务上的性能。

    Oct, 2023

  • 自我生成的上下文学习：利用自回归语言模型作为示范生成器

    本文提出自生成上下文学习（SG-ICL）方法，用于生成 pre-trained language model（PLM）自身的演示文稿，以便在上下文学习中减少对外部演示的依赖。在四个不同的文本分类任务上进行实验，并表明 SG-ICL 显著优于零样本学习，一般值约为 0.6 金培训样本。此外，所生成的演示文稿与从训练数据集中随机选出的演示文稿相比，表现更具一致性和低方差。

    Jun, 2022

  • 生成式校准用于上下文学习

    通过理论和实证研究，我们首次确定了上下文学习中的标签偏移现象，并提出了一种生成校准方法，通过调整标签边际分布来校准上下文预测分布，实验证明该方法在文本分类任务中显著且一致地优于其他校准方法，同时对于不同的提示配置也表现稳定。

    Oct, 2023

  • 通过双向对齐改善上下文学习

    大型语言模型通过在上下文中学习（ICL）在许多任务上展示了令人印象深刻的少量样本泛化能力。本研究提出了双向对齐（BiAlign）方法，旨在充分利用模型对 ICL 示例的偏好，提高较小模型的 ICL 能力。通过与大型模型的输入偏好对齐，同时对齐令牌级别的输出分布，BiAlign 在语言理解、推理和编码等各种任务中超过了现有基准。

    Dec, 2023