code large language models | BriefGPT

关键词code large language models

搜索结果 - 16

层次上下文剪枝：通过仓库级预训练代码语言模型优化实际代码补全
维护文件之间的拓扑依赖性和增加代码文件内容可提高完成准确性，修剪所有相关文件中函数的特定实现并不会显著降低完成准确性。基于这些发现，我们提出了一种名为 Hierarchical Context Pruning (HCP) 的策略，以高信息代
PDF10 days ago
SemCoder：使用全面语义训练代码语言模型
该论文提出了一种新的策略，通过连接静态代码文本和动态执行状态，训练具有全面语义的 Code LLMs，从而填补 Code LLMs 在诸如调试和程序修复等复杂任务中对深层语义的依赖的差距。该方法通过收集 PyX，一个具有可执行样本、功能描述
PDFa month ago
安全代码生成的约束解码
通过引入新的基准 CodeGuard + 和两个新的度量标准 secure-pass@k 和 secure@$k_{ext {pass}}$，本文展示了 Code Large Language Models 在生成安全和正确代码方面的能力，
PDF2 months ago
XFT：通过简单合并升级的专家混合解锁代码指令调优的潜力
通过将升级 Mixture-of-Experts (MoE) 与稀疏升级相结合，并引入共享专家机制和路由权重归一化策略，XFT 训练方案显著增强了指令调优，将升级 MoE 型号编译回密集型型号，实现了与升级 MoE 型号相当的性能。应用 X
PDF2 months ago
代码大型语言模型的代码比较调整
代码比较调优 (CCT) 是用于优化大型编程语言模型（Code LLMs）以更好地处理微妙的代码错误的简单而有效的调优方法。通过在标记和序列级别上将比较的概念引入指令调优中，使模型能够辨别代码中最细微的偏差。与包含手动添加的代码错误的原始代
PDF3 months ago
RepoHyper: 软件仓库级别的代码自动完成功能需要更好的上下文检索
Code Large Language Models (CodeLLMs) often lack contextual understanding of project repositories, but the RepoHyper fra
PDF4 months ago
半指导：连接自然指导和自我指导的大型编码语言模型
指令调优在大规模代码语言模型（Code LLMs）中对程序合成任务至关重要。本文提出一种名为 Semi-Instruct 的方法，通过将自然指令中不规范代码转化为正确的指令 - 代码对，并设计了一种新颖的测试用例构建方法来验证生成代码的正确
PDF4 months ago
DolphCoder: 用多目标指令调整为特征的大型语言模型进行回声定位编码
通过引入一种具有自我评估功能的多样指令模型 (DolphCoder) 来增强预训练的 Code LLM 的代码生成性能，实现了卓越的 HumanEval 和 MBPP 基准性能，为未来的代码指令调优工作提供了新的见解。
PDF5 months ago
使用无监督方法评估编码 LLMs 的循环正确性
通过轮回正确性作为替代的评估方法，我们能够在更广泛的实际软件领域对代码大型语言模型进行评估，并展示了如何将轮回正确性应用于代码合成和编辑中，通过与现有的狭域代码合成基准的模型性能进行强相关性对比，同时在没有昂贵人工标注的情况下，使我们能够扩
PDF5 months ago
提升代码大型语言模型的自然语言能力
提出了一个新的框架，通过集成传统自然语言处理工具，从自然语言需求文本中提取关键词短语，并生成目标代码以解决需求，从而有效提高代码大型语言模型的性能。通过创建一个新的多自然语言代码生成基准测试集，实验证明了该框架的有效性。
PDF5 months ago
JumpCoder: 在线修改加码器超越自回归编码器
将新代码插入当前生成的代码中，并通过辅助的填充模型和生成模型评分判断填充位置的有效性，以提升代码生成模型的性能。
PDF6 months ago
超越准确性：使用 IdentityChain 评估编程领域的大型语言模型的自一致性
Code Large Language Models (Code LLMs) are evaluated for their self-consistency and general accuracy using the IdentityC
PDF9 months ago
通过集群间建模进行代码生成的神经排序器
该研究介绍了一种名为 SRank 的新型重排序策略，通过量化聚类之间的功能重叠，为代码生成提供了更好的排名策略，实验结果表明，该方法在 pass@1 得分上取得了显著的结果，与现有的排名方法相比，显示出优越性和鲁棒性。
PDF9 months ago
CodeFuse-13B：一个预训练的多语言编码大型语言模型
CodeFuse-13B 是一个针对包括英文和中文提示的代码相关任务设计的开源预训练代码 LLM，通过使用高质量预训练数据集，在真实世界使用场景、人工评估和特别设计的中国提示评估中进行了广泛实验，结果表明在代码生成、代码翻译、代码注释和测试
PDF9 months ago
编程语言通过指令调整能否相互提升？
编程语言可以在代码大型语言模型的指令微调阶段互相提升。
PDF10 months ago
WizardCoder：用 Evol-Instruct 使大型语言模型掌握编程技能
本文介绍了 WizardCoder，它利用 Evol-Instruct 方法将复杂的指令微调应用于代码领域，通过对四个主要的代码生成基准进行全面实验，揭示了该模型的出色能力，并超越了所有其他开源 Code LLMs，甚至在 HumanEva
PDFa year ago