SEED: 用于代码生成的样本高效适应性定制大型语言模型

Feb, 2024

SEED: 用于代码生成的样本高效适应性定制大型语言模型

SEED: Customize Large Language Models with Sample-Efficient Adaptation for Code Generation

Xue Jiang, Yihong Dong, Zhi Jin, Ge Li

TL;DR提出一种名为 SEED 的新型适应方法，利用 LLMs 产生的错误作为学习机会，通过错误修订来克服自身的缺点，从而实现高效学习。实验证明，SEED 相比传统的微调方法在更少的训练样本上实现了更优异的性能，Pass@1 上相对提升了 27.2%-325.0%。同时验证了 Self-revise 的有效性，通过生成更高效的修订代码优化模型，相比于数据集中的代码样本，SEED 在各种 LLMs 上一致显示出强大的性能。

Abstract

Although large language models (LLMs) have made significant progress in code generation, they still struggle with code generation tasks in specific scenarios. These scenarios usually necessitate the adaptation of

large language models code generation adaptation approach seed error revision

发现论文，激发创造

SEED: 大型语言模型下的简单高效有效数据管理

SEED 是一种面向 LLM 的系统，允许用户轻松创建高效和有效的数据管理应用程序，通过提供代码生成、模型生成和增强 LLM 查询等主要组件来解决 LLM 服务计算和经济上的挑战，并展示其在不同数据管理任务中的效率和有效性。

Oct, 2023

用 SEED 令牌化器使 LLaMA 具备视觉和绘图能力

通过引入 SEED 图像标记器，使 LLMs 能够在其原始训练配方下执行可扩展的多模式自回归，并在广泛的多模式理解和生成任务中展示出令人印象深刻的性能。

Oct, 2023

在大型语言模型中种下一个愿景的种子

本文介绍了 SEED，一种复杂的图像分词器，可使大型语言模型同时有看和画的能力，并提出了两个重要的原则，以有效地便于将 SEED 与 LLMs 对齐。

Jul, 2023

RE-Adapt: 大型语言模型的逆向工程适应

通过逆向设计适配器，我们介绍了 RE-Adapt 方法，该方法无需使用额外的数据或训练，可以在新域上对基础模型进行微调，并借助逆向设计的适配器重新适应指令跟踪，以优于其他微调方法。

May, 2024

自我编辑：面向代码生成的故障感知代码编辑器

利用执行结果修正生成的代码，我们提出了一种基于人类编程阶段的生成和编辑方法来提高大型语言模型（LLM）在竞争性编程任务方面的代码质量，对使用不同参数大小的 9 种常见代码生成 LLM 在两个竞争性编程数据集上进行了广泛评估，相比于直接从 LLMs 生成的代码，我们的方法在 APP-dev 上的 pass@1 平均值提高了 89％，在 APPS-test 上提高了 31％，在 HumanEval 上提高了 48％，比其他后处理方法表现更优。

May, 2023

SEED-Bench: 用生成理解评估多模态 LLMs 的基准

基于强大的大型语言模型（LLMs），最近的生成式多模态大型语言模型（MLLMs）作为一个关键的研究领域备受关注，展示了出色的理解和生成能力。本研究通过引入一个名为 SEED-Bench 的基准测试，解决了 MLLMs 生成理解的评估问题，该基准测试包含 19K 个准确的多项选择问题（是现有基准测试的 6 倍大），涵盖了 12 个评估维度，包括图像和视频模态的理解。我们开发了一个高级流程用于生成以特定评估维度为目标的多项选择问题，该流程整合了自动过滤和人工验证过程。由人类注释导出的带有真实选项的多项选择问题可以客观且高效地评估模型性能，在评估过程中无需人类或 GPT 的干预。我们进一步评估了 18 个模型在所有 12 个维度上的性能，涵盖了空间和时间的理解。通过评估结果揭示现有 MLLMs 的局限性，我们希望 SEED-Bench 为激发未来的研究提供见解。我们将建立并持续维护一个排行榜，为社区提供评估和研究模型能力的平台。

Jul, 2023

基于大语言模型的全自动编程

本文探讨了使用 Large Language Models 进行程序合成时，实现 Synthesize，Execute，Debug 方法的方法，包括替换或修复故障程序，以及不同基于模板和基于模型的提示生成技术，取得了比传统方法更好的表现。

Apr, 2023

SEED: 自监督蒸馏用于视觉表征

本文主要介绍一种针对小模型的自监督学习方法 ——SElf-SupErvised Distillation (SEED), 提出将大型网络的知识通过自监督方式传递到小型网络中来提高性能，实验证明 SEED 可显著提升小型网络在下游任务上的表现。

Jan, 2021

GrACE: 使用相关代码编辑进行生成

使用先前的代码编辑知识赋予了智能代码生成大型语言模型 (LLMs) 先验知识，该模型的生成能力有助于解决代码更改的多样性以及对前期编辑的依赖，与常见的符号和神经方法相比，该方法使 LLMs 的性能显著提高了 29％和 54％。

May, 2023

CodecLM: 用定制的合成数据对齐语言模型

通过使用编码 - 解码原理，我们引入了 CodecLM，这是一个用于自适应生成与不同后续指令分布和大语言模型对齐的高质量合成数据的通用框架。在编码过程中，我们将种子指令转化为元数据，然后通过解码来创建定制的指令。我们还引入自我评分和对比过滤来定制数据样本，经过在四个开放领域指令遵循基准测试上的大量实验证明，CodecLM 相对于当前技术水平具有显著的效果。

Apr, 2024