EMNLPSep, 2021

eWASH: 通过语法层次结构扩展窗口访问，对源代码文件进行长距离建模

PDF
TL;DR通过使用语法树，将源代码的整个文件级上下文集成到一个固定长度的窗口中，从而实现了为编程任务提供上下文而不丧失大文件和包的整个相关上下文的目标，表现出了优秀的性能表现。
statistical language modelingtransformersneural modelssyntactic hierarchiescode generation
发现论文，激发创造
  • 从结构和上下文中学习源代码的语言不可知性表示学习

    通过同时学习源代码和抽象语法树的结构信息，本篇研究提出了一种只使用与语言无关的功能和直接从抽象语法树中计算得出的功能的新机器学习模型，该模型在单语言和多语言代码总结方面均取得了最新成果。

    Mar, 2021

  • 重访源代码概要的文件上下文

    代码摘要是编写源代码的自然语言描述的任务，这篇论文重新考虑了 “文件上下文” 的概念，提出了一种专门用于编码文件上下文的修改过的 Transformer 架构，并证明它相较于几个基线方法取得了改进。

    Sep, 2023

  • 利用文件上下文关注提高子程序的自动摘要能力

    该文提出了一种利用文件上下文、采用注意力机制来查找子程序描述所需单词和概念的方法，以扩展和改进几种最近基线的源代码摘要生成的 AI 方法。

    Apr, 2020

  • 通过上下文数据丰富源代码，用于代码完成模型的实证研究

    本研究旨在探索是否通过使用上下文数据使代码易于理解会提高预训练代码语言模型完成代码补全任务的性能，并建议在训练、微调或选择此类模型时做出适当的设计选择，以改善自动补全的实用性和准确性。

    Apr, 2023

  • 重访并行上下文窗口：一种令人沮丧的简单替代方法和思维链恶化

    通过评估 Parallel Context Windows (PCW) 的实际应用，我们发现这种基于并行集成模式和语言模型的计算方法存在一些局限性，如缺失有效的基础算法、在复杂的推理任务中效果下降等，建议未来在此方向上进行更多的研究。

    May, 2023

  • 统计机器翻译中基于目标端上下文的判别式模型

    通过使用源上下文信息优化的翻译模型以提高机器翻译性能，我们提出了一种使用目标上下文信息的新颖扩展，令人惊讶的是，我们证明可以将该模型直接高效地集成在解码过程中，我们的方法可以应用于大规模训练数据，对四种语言对的语言翻译质量有一致提高，我们提供了分析，比较基线基于源上下文模型的优势，以及我们扩展的源上下文和目标上下文模型，结果显示，我们的扩展可以更好地捕捉形态学一致性。

    Jul, 2016

  • 基于 Transformer 的源代码实证研究

    本文研究了如何使用 Transformers 提取和利用源代码中的句法信息，完成代码自动补全、函数命名和 bug 修复等任务，实现了更好的模型性能。

    Oct, 2020

  • 一种用于软件代码的深度语言模型

    提出了一种基于深度学习和 LSTM（长短时记忆）架构的软件代码语言模型，能够有效地学习软件代码中的长时相关性，实验结果显示其有效性。这项工作为构建 DeepSoft，一种端到端，通用的深度学习框架，促进了软件及其开发过程的建模。

    Aug, 2016

  • 使用扩展 Tree-LSTM 自动生成源代码摘要

    该研究探讨了使用神经机器翻译模型进行源代码自动生成文档的机器翻译任务，并阐述了抽象语法树在源码的机器学习研究中的重要性和 Tree-LSTM 方法的局限性，并提出了一种新方法 Multi-way Tree-LSTM 来应对此问题，对比现有技术取得更好的结果。

    Jun, 2019

  • 一种生成程序子程序自然语言摘要的神经模型

    本研究提出了一种新的神经网络模型，它可以将源代码的单词和代码结构（AST）结合起来，从而能够生成准确的注释文档。与传统的基于模板的系统不同，该模型可以更好地学习代码结构，即使程序缺乏内部文档，也可以在演示中提供连贯的描述，并在 SE 文献和 NLP 文献中得到进一步的改进和应用验证。

    Feb, 2019