Dec, 2023

一种基于机器学习的 SKILL 代码自动补全方法

PDF
TL;DR该研究首次将 Transformer 应用于 SKILL 代码自动完成以提高硬件设计工程师的生产力，提出了一种数据高效的生成 SKILL 代码的新方法，并通过实验证实。
electronic design automationskillcode generation modelstransformer architecturehardware design engineers
发现论文，激发创造
  • 一种 Verilog 自动完成的深度学习框架 —— 向设计和验证自动化

    本文提出一种基于深度学习的 Verilog 自动补全模型的训练框架，该框架通过将通用编程语言预训练模型与类似目标下游任务的数据集集成并进行微调来验证，实验结果表明，该框架相比于从头开始训练的模型，具有更好的 BLEU、ROUGE-L 和 chrF 评分。

    Apr, 2023

  • 基于 Transformer 的智能调用自动代码完成方法

    我们开发了一个机器学习模型，可以根据代码上下文和可用的遥测数据准确预测何时调用代码补全工具，该模型显著优于基准模型并在维持低延迟的同时集成了一些额外的遥测数据。

    May, 2024

  • 作为内置零迁移 ESCO 技能匹配器的大型语言模型

    The paper presents an end-to-end zero-shot system for skills extraction from job descriptions based on large language models, achieving promising results on skills extraction against the ESCO framework without human annotations.

    Jul, 2023

  • 基于多任务学习的预训练语言模型 —— 代码补全

    本文介绍了一种基于多任务学习的预训练语言模型，采用 Transformer 神经网络架构，通过混合目标函数进行预训练，可以更好地理解和生成代码；在实验中证明了该模型相比现有的方法更为有效，尤其在完成标识符的任务上效果显著。

    Dec, 2020

  • CodeTrans: 通过自监督深度学习和高性能计算破译硅谷代码语言

    本研究使用 CodeTrans—— 一种编码器 - 解码器 transformer 模型，在六个软件工程任务中探究了 encoder-decoder transformer 模型的有效性，并调查了各种训练策略的影响，包括单任务学习、迁移学习、多任务学习和多任务学习与微调。结果表明，CodeTrans 在所有任务上均优于现有模型。该研究为软件工程领域的未来工作提供了有力的支持，并公开了预训练模型。

    Apr, 2021

  • Skill-it！一种基于数据驱动的技能框架用于理解和训练语言模型

    使用具有固定标记预算的新框架，通过学习一组语言模型的技能顺序，从而在任务间提升下游模型性能，减少数据训练量，并引入一种在线数据采样算法 Skill-It，以实现连续预训练和微调中多个技能的高效学习。

    Jul, 2023

  • 电子设计自动化的机器学习：一份概览

    本文全面评述了现有机器学习技术在电子设计自动化领域的应用，分别从电子设计自动化的层次进行组织。

    Jan, 2021

  • 利用草图学习代码自动补全

    本文介绍了一种基于 Transformer 的模型 Grammformer，用于根据编程语言语法生成具有 “空洞” 的代码完成。在 C# 和 Python 的代码完成方面通过 ROUGE 和新的度量标准 RegexAcc 的度量检验结果，结果显示 Grammformer 比传统生成模型生成更加准确的代码完成，且生成的草图较传统技术生成的草图更长。

    Jun, 2021

  • 自我关注神经架构，利用多任务学习实现代码自动完成

    本文提出了自注意力神经体系结构，采用多任务学习方式，以解决代码补全中的结构性保留和长期依赖问题，并与最先进的方法进行了比较。

    Sep, 2019

  • 源代码合成与完成的神经模型

    本研究提出了一种基于序列到序列深度学习模型的自然语言到编程语言的建议系统，可以根据自然语言的意图建议源代码片段，并扩展源代码的自动补全功能。该系统通过上下文感知的神经模型直接生成源代码标记，而不是从源代码生成解析树 / 抽象意义表示再转换成源代码。此外，提出的架构还使用预训练策略和数据增强技术来提高性能，并且在 BLEU-4 指标上超过了神经语义解析器 TranX 的表现约 10.82%。该系统还可以用于生成源代码的自然语言文档，并提出了基于 RoBERTa 的掩码语言模型来扩展该系统用于代码补全。

    Feb, 2024