word segmentation | BriefGPT

关键词word segmentation

搜索结果 - 30

利用分段神经语言模型学习发现、建立和使用单词
提出了一种分段神经语言模型，它将神经网络的概括能力与发现在未分段的字符序列中存在的类似单词的单元的能力相结合。在视觉上下文的作用下，此模型不仅可以发现单词的含义，还可以学习单词如何组成句子，并提高其预测准确性。
PDF6 years ago
EMNLP自由的词序：基于能量的梵语词分割和形态标注模型
本研究提出了一种在梵文中结合了词语分割和形态标注任务的结构化预测框架，采用了图形解析技术中通常采用的方法，其在使用不到特定训练数据的情况下，F 值达到了 96.92%（改善率为 7.06%），而采用图形解析方法而不是传统基于格子的顺序标注方
PDF6 years ago
ACL无分割组合 $n$-gram 嵌入
该研究提出了一种新型的表示学习方法，它无需依赖于词语分割和人工注释资源，能有效处理像中文和日文这样的非分割语言中的嘈杂语料库，方法的主要思想是彻底忽略词语边界，利用组合子 n-gram 的嵌入来构建原始语料库中所有字符 n-gram 的表示
PDF6 years ago
通用词语分割：实现与解释
本篇论文介绍了一种序列标注框架，并将其应用于具有不同书写系统和类型特征的多种语言的单词分割，结果表明，单词分割的准确性与单词边界标记正相关并与非分割术语数量负相关。在此基础上，设计了一套小的语言特定设置，并基于 Universal Depe
PDF6 years ago
COLING使用条件随机场（CRFs）进行乌尔都语词语分割
本文研究提出了一种基于条件随机场序列建模器的乌尔都语词分割系统，使用正字法、语言学和形态学特征，该模型能够自动学习预测单词边界和子单词边界，在手动注释的语料库上实现了 0.97 的单词边界识别 F1 分数和 0.85 的子单词边界识别 F1
PDF6 years ago
一夜建立梵文分词器
提出了一种基于序列到序列模型的 Sanskrit Sandhi 文本分词方法，该模型只使用 Sandhi 化字符串作为输入，并预测正常分词的字符串，经过实验比当前最先进的模型具有更好的表现，且可在一晚上进行训练并应用于生产。
PDF6 years ago
ACL阿拉伯语言相关分词的挑战：机器翻译和词性标注的应用
本研究探讨用数据驱动的子字单元、字符和卷积神经网络（CNN）学习的单词嵌入来替代传统的形态学分割，实现阿拉伯语自然语言处理（NLP）中的词分割。实验表明，这些方法在机器翻译和词性标注任务中，可以达到接近或超过最先进性能。同时，研究揭示神经机
PDF7 years ago
EMNLP汉字的字形感知嵌入
本文提出了一种新的基于汉字视觉外观的表示方法，采用卷积神经网络来将汉字的空间 - 结构模式以原始像素的方式统一表示，从而在两个基本的中文 NLP 任务：语言建模和分词中有效地表征了每个字符的语义和句法信息。
PDF7 years ago
ACL利用词语分割表示学习提高中文社交媒体名称实体识别
本文研究利用神经网络模型共同训练中文社交媒体的命名实体识别（NER）和分词（word segmentation）任务，与之前的研究相比，使用 LSTM-CRF 模型得到了将近 5% 的显著提高。
PDF8 years ago
ACL采用子单元的神经机器翻译生僻词
本文提出了一种基于子单词单位的、更简单且更有效的方法来处理翻译中的开放性词汇问题，并通过实验证明了这种方法相较于备用字典模式可以提升该模型的翻译效果。
PDF9 years ago