Apr, 2020

使用神经注意力和字节对编码完成代码

PDF
TL;DR本文旨在利用实现自 Li 等人的神经网络进行代码自动补全，我们将该神经网络应用了介于字符和单词编码之间的字节对编码（BPE）对源代码文件进行处理，而无需先转换为抽象语法树（AST）。我们实现了两个模型：一个注意力增强的 LSTM 模型和一个指针网络模型，其中指针网络最初是用来解决词汇表外单词问题的。我们感兴趣的是 BPE 是否能够替代指针网络进行代码自动补全。
发现论文，激发创造
  • 双语端到端自动语音识别：基于字节级子词

    本文研究了端到端神经网络的输出表征对多语种自动语音识别的影响，并比较了不同类型的表征。我们专注于开发一个单一的端到端模型来支持基于话语的双语 ASR，并在英语和普通话口述任务上进行实验，发现 BBPE 对话语为基础的双语 ASR 性能可以提高 2％到 5％。

    May, 2022

  • 神经注意力和指针网络的代码完成

    使用神经语言模型并开发定制化的注意力机制以加快现代软件开发中的智能代码补全，同时提出了一个指针混合网络以更好地预测过程中的无法识别词汇。

    Nov, 2017

  • 通过字节对编码学习相关语言之间的可变长度单位

    本文研究了使用字节对编码（称为 BPE units）以及拼音音节作为翻译任务基本单元的效果， 结果表明，BPE units 作为翻译单元略优于拼音音节单元， 并且更适用于非元音书写系统的语言。

    Oct, 2016

  • 字节对编码是自动孟加拉语语音识别所需的全部

    通过实验证明，对于孟加拉语，Byte pair encoding (BPE) 是一种在自动语音识别（ASR）中改善识别性能的有效分词方法，较佳的 BPE token 数量为大约 500-1000 个。

    Jan, 2024

  • 字节对编码的形式化视角

    通过子模函数，我们将 BPE 形式化为组合优化问题，并证明了迭代贪心版本是最佳合并序列的 1/sigma (mu*)-（1-e^(sigma (mu*)))- 近似，其中 sigma (mu*) 是相对于最佳合并序列 mu * 的总反向曲率。此外，我们优化了朴素算法以实现最佳 BPE。

    Jun, 2023

  • 基于字节级子词的神经机器翻译

    本篇论文探讨了一种基于字节级子词（BBPE）的机器翻译模型，该模型比字符词汇表更紧凑且没有超出词汇表的令牌，并显示了与 BPE 相当的性能，BBPE 在跨多种语言的情况下最大化词汇共享并实现更好的翻译质量，同时使非重叠字符集的语言之间的模型传递成为可能。

    Sep, 2019

  • Byte Pair 编码在神经机器翻译中的未登录词效果如何？

    本文针对 NMT 中 OOV 问题进行研究，发现尽管 BPE 可在一定程度上处理 OOV，但仍有相当一部分单词翻译错误，特别是涉及语言间距离较远的情况。

    Aug, 2022

  • 符号音乐的字节对编码

    本文研究在深度学习任务中，如何使用符号音乐模态并采用 Byte Pair Encoding (BPE) 对音乐数据进行字符编码，以提高音乐生成和作曲家分类模型的性能和均匀度。

    Jan, 2023

  • Byte Pair Encoding 不适用于语言模型预训练

    分析使用不同词汇分割方法，如 BPE 和 unigram 在提前训练 Transformer 语言模型时对其细微的影响，并比较它们的效果，在任务绩效中发现 unigram 的方法匹配或优于 BPE，建议开发者在预训练时采用 unigram 方法。

    Apr, 2020

  • BERT 模型在代码自动完成中的应用实证研究

    通过对深度学习（DL）模型的大规模实证研究，本文探索了 RoBERTa 模型在支持代码完成不同粒度级别的能力，并从多个角度评估了其预测的准确性与语义等效性。结果表明，BERT 模型是代码完成的可行解决方案，能够实现高达 58% 的完美预测。

    Mar, 2021