byte-pair encoding | BriefGPT

关键词byte-pair encoding

搜索结果 - 9

分词不仅仅是压缩
通过广泛实验，我们发现较少的令牌并不会导致更好的下游性能，从而对有效的标记化原因的理解产生了怀疑。我们评估了标记化的三个阶段的设计决策，特别强调了预标记化的重要性和使用字节对编码 (BPE) 进行初始化词汇构建的好处。
PDF4 months ago
ACL字节对编码的形式化视角
通过子模函数，我们将 BPE 形式化为组合优化问题，并证明了迭代贪心版本是最佳合并序列的 1/sigma (mu*)-（1-e^(sigma (mu*)))- 近似，其中 sigma (mu*) 是相对于最佳合并序列 mu * 的总反向曲率
PDFa year ago
从单词到音乐：符号音乐生成中子词分词技术的研究
本文研究了在符号音乐生成中，应用子词分词技术（如 Byte-pair Encoding）对生成歌曲结构和长度的影响，以及与音乐生成质量指标（如结构指标，Pitch Class Entropy 等）之间的关系。结果表明子词分词技术有望改善符号
PDFa year ago
EMNLPChar2Subword：利用强健的字符组合扩展子词嵌入空间
提出一种基于字符的子词模块 (char2subword)，它可以学习预训练模型 (BERT) 中的子词嵌入表，并通过预训练进一步集成到 BERT 中，从而显著提高在社交媒体语言代码切换评估 (LinCE) 的表现。
PDF4 years ago
利用语言模型重打分，在无监督机器翻译中加入单词和子词单元
本文讲述了 CAiRE 团队利用基于短语的统计机器翻译模型、预训练语言模型、字节对编码嵌入以及 MUSE 对德语和捷克语进行的非监督机器翻译，同时提出了重新评分机制以及对翻译的预处理和后处理方法以提高最终的翻译质量。
PDF5 years ago
MM神经机器翻译中慎重选择子词合并操作的呼吁
本文探索了不同 BPE 合并操作的影响，以理解其与模型架构、构建词表策略和语言对之间的交互。对于 LSTM 架构，需要尝试不同的 BPE 操作，而对于 Transformer 架构，较小的 BPE 尺寸往往是一个典型的最优选择。我们强烈建议
PDF5 years ago
用于标题生成的自我注意力模型
使用最新的 Universal Transformer architecture 和 byte-pair encoding 技巧，对新闻标题生成任务进行了优化，取得了新的最佳 ROUGE-L F1 分数 24.84 和 ROUGE-2 F1
PDF5 years ago
神经机器翻译的分割粒度优化
本文提出一种自动调节神经机器翻译中分词粒度的方法，可以在训练的同时引入新的词汇并优化语言分割，最终达到与最优表现相似的结果，并在训练效率和罕见词汇的表现方面带来了改进。
PDF6 years ago
神经机器翻译中目标侧词形变化建模
本文提出了一个简单的方法来解决 NMT 系统处理大词汇量时的问题，该方法是训练系统生成单词的词元和丰富的词性标记，然后进行确定性生成步骤，应用于英语 - 捷克语和英语 - 德语翻译方案中，获得了改进。
PDF7 years ago