n-gram | BriefGPT - AI 论文速递

关键词n-gram

搜索结果 - 9

基于 Transformer 语言模型和 n-gram 困惑度的文本向量化
该研究提出了一种基于 n-gram 困惑度计算的向量值算法，以替代仅有一个困惑度值的标量困惑度，该算法考虑了概率、困惑度、文本、标记等方面，并将这些值合并为表示输入的单个向量。
PDFa year ago
屏蔽标签和噪声：一种用于中文拼写检查的 N-Gram 掩码拼写器
本研究提出了一个 n-gram 遮蔽层，用于规避标签泄漏和错误干扰，并提出了一个新的点积门控机制，将语音和形态学信息与语义表示进行整合，进而提高了常见的 CSC 模型以及本文提出的方法在 SIGHAN 数据集上的性能。
PDFa year ago
通过模拟真实的语音重叠，提高多说话人语音识别
本文提出了一种改进的模拟多说者重叠讲话的技术，该技术使用离散标记的序列来表示任意模式的语音重叠，从而使模型能够从实际对话中学习语音重叠模式，并在多个数据集上提高了单词错误率。
PDF2 years ago
EMNLP只有 400 个样本！重新审视自动生成拼音规则对菲律宾语拼写规范化的有效性
本研究提出了一种基于 N-Gram 与 Damerau Levenshtein 距离模型的自动规则抽取方法，这种模型利用少量的数据进行训练，实现了良好的性能，并且在没有足够数据时，传统的方法胜过复杂的深度学习模型。
PDF2 years ago
使用双语词典和 n-gram 数据的短语翻译：以越南文到英文为例的实证研究
本文介绍了一种新的翻译方法，使用至少一个 L1-L2 的双语词典和 L2 的 n-gram 数据来翻译 L1 中给定的短语，无需使用任何语法规则，平均手动评估得分为 4.29/5.00，品质非常高。
PDF2 years ago
PERT: 拼音转汉字任务的新解决方案
这篇论文介绍了一个名为 BERT 的新解决方案来解决输入法引擎中的拼音转字符转换任务，它的性能显著提高，还将其与 n-gram 结合在马尔可夫框架下进一步提高性能，并将外部词典整合到 BERT 中以解决 IME 中的 OOD 问题。
PDF2 years ago
使用监督式机器学习与特征组合的 2021 年乌尔都语假新闻检测任务
本文介绍了参加 FIRE 2021 共享任务的系统描述：“乌尔都语中的虚假新闻检测”。研究目的在于自动识别乌尔都语中写的虚假新闻。我们的结果在比赛中排名第五，但是在比赛结果公布后，我们的结果得到了进一步改善。我们的其中一个模型在支持向量机（
PDF2 years ago
AAAI文本匹配作为图像识别
本研究提出了一种将文本匹配建模为图像识别问题的方法，即通过构造匹配矩阵并利用卷积神经网络捕捉匹配模式，以此提高匹配准确度，并通过实验证明了该方法的优越性。
PDF8 years ago
基于熵的回退语言模型修剪
提出了一种基于相对熵的 N-gram 回退语言模型参数剪枝标准，可以精准高效地计算单个 N-gram 剪枝带来的相对熵变化，以 perplexity 变化为阈值筛选 N-grams，实验证明该方法可以将 Hub4 LM 模型大小压缩至原来的
PDF24 years ago