subword units | BriefGPT - AI 论文速递

关键词subword units

搜索结果 - 12

BERT 和深度模型压力测试：从意大利诗歌中预测单词
该研究使用 BERT 在诗歌领域的意大利句子中实验并发现 DL 模型对于非规范结构的敏感性较高，而使用 subword units 可以解决 BERT 中的一些单词的意思不明确的问题。
PDFa year ago
使用子词单元提取日本虚构角色的语言言论模式
本文提出了一个解决 MeCab 等传统词法分析器不能很好处理日本动画或游戏角色台词的问题的方法，该方法使用了为深度学习提出的子单元切割行文，并提取频繁出现的字符串来获得表征角色台词的表达式。经过性别、年龄以及日本动画中各个角色的分析，发现这
PDF2 years ago
移动键盘输入中的复合处理
本文提出了一个框架来提高手机用户在形态丰富的语言中的打字体验，该方法使用自动选择的子词单元来对德语等复杂的语言进行建模，并通过绑定类型注释来确定何时将子词单元绑定成单词，此方法在多种复杂语言中表现出约 20% 的错误率降低，是基本方法改进的
PDF2 years ago
使用期望最大化和修剪改进的子单词分割算法 Morfessor EM+Prune
本文介绍了一种针对单语词根基于期望最大化算法和词典剪枝的 unigram 子词模型的训练算法，并比较了不同算法在英语、芬兰语、北萨米语和土耳其语数据集上的效果。通过改进优化问题，提高了基于语言黄金标准的单词分割的准确率。同时，我们在广泛使用
PDF4 years ago
ICLR面向开放词汇神经机器翻译的隐变形模型
本文提出了一种通过分层潜在变量模拟词态变化过程的方法，通过组合两个潜在表示（一个连续的表示和一组（近似）离散特征），逐个字符生成单词，从而使神经机器翻译在三种形态丰富的语言中的精度和资源利用率得到了提高。
PDF5 years ago
论字符级神经机器翻译中词边界的重要性
本文提出了一种更高效的字符级神经机器翻译解码方法，使用词和字符级别的分层解码结构，能够优化机器翻译性能并学习更长的上下文和语法依赖。
PDF5 years ago
神经机器翻译的分割粒度优化
本文提出一种自动调节神经机器翻译中分词粒度的方法，可以在训练的同时引入新的词汇并优化语言分割，最终达到与最优表现相似的结果，并在训练效率和罕见词汇的表现方面带来了改进。
PDF6 years ago
对话模型的敌对过度敏感性和过度稳定性策略
研究通过使用两类针对生成式对话模型的模型无关对抗策略：不应更改策略和应更改策略以及对它们进行对抗训练，可以使目标对话模型更加稳健，提高其性能。同时，通过在模型层次上解决了鲁棒性问题，可以使模型在扩大的词汇表下变得更具竞争力，并且即使没有对抗
PDF6 years ago
EMNLP利用形态和音位子单元表示将词嵌入适应新语言
使用语言学驱动的子词单元：音素、词素和字形，提高低资源语言下的自然语言处理、实体名称识别和机器翻译表现。
PDF6 years ago
ACL使用多个子词候选项改进神经网络翻译模型的子词正则化
介绍了一种利用 subword segmentation 的噪声来提高神经机器翻译鲁棒性的正则化方法，主要应用于低资源领域。
PDF6 years ago
CTC 声学模型的子词和交叉词单元
本文提出了一种新方法来为 CTC 基于语音识别系统创建单元集。该方法使用 Byte Pair Encoding 在给定的训练文本上学习任意大小的单元集，通过使用子词和多词跨度单元，与使用字符或单词作为单位相比，可以在单位集大小和可用训练数据
PDF7 years ago
ACL采用子单元的神经机器翻译生僻词
本文提出了一种基于子单词单位的、更简单且更有效的方法来处理翻译中的开放性词汇问题，并通过实验证明了这种方法相较于备用字典模式可以提升该模型的翻译效果。
PDF9 years ago