Nov, 2011

上下文树切换

PDF
TL;DR本文介绍了 Context Tree Switching 技术，它是 Context Tree Weighting 方法的一种改进，用于二进制、平稳、n-Markov 源的预测。通过修改 Context Tree Weighting 的递归加权方案，可以在不增加原始算法的渐近时间或空间复杂度的情况下混合更大类别的模型，并证明这种推广保留了 Context Tree Weighting 在平稳 n-Markov 源上的理论性质，并在 Calgary Corpus 上的实验结果表明，这种新技术相对于 Context Tree Weighting 能够带来一致的改进。
发现论文，激发创造
  • 一种基于树结构破棍过程的高斯混合变分贝叶斯方法

    这篇论文介绍了一种应用于聚类任务的基于 Bayes 编码算法的变分贝叶斯方法，并通过对一个示例的数值实验确认其性能。

    May, 2024

  • 使用可变阶数马尔可夫模型进行预测

    本研究探究了使用变量阶马尔可夫模型进行离散序列预测的算法，并比较了六种著名的预测算法和它们在三个不同领域的表现情况。研究结果表明，在序列预测任务中，一种名为 “decomposed” CTW 的变种和 PPM 算法表现最佳，而在蛋白质分类问题中一种名为 Lempel-Ziv 压缩算法的修改版显著胜出。

    Jun, 2011

  • 统计机器翻译中基于目标端上下文的判别式模型

    通过使用源上下文信息优化的翻译模型以提高机器翻译性能，我们提出了一种使用目标上下文信息的新颖扩展，令人惊讶的是，我们证明可以将该模型直接高效地集成在解码过程中，我们的方法可以应用于大规模训练数据，对四种语言对的语言翻译质量有一致提高，我们提供了分析，比较基线基于源上下文模型的优势，以及我们扩展的源上下文和目标上下文模型，结果显示，我们的扩展可以更好地捕捉形态学一致性。

    Jul, 2016

  • CTC 和转录器 ASR 模型的快速上下文偏见和基于 CTC 的词识别器

    通过 CTC-based Word Spotter 实现快速的上下文偏置识别，加速上下文偏置识别的同时提高了 F-score 和 WER，方法已经在 NVIDIA NeMo toolkit 中提供。

    Jun, 2024

  • 应用 Winnow 进行上下文敏感的拼写纠正

    本文将基于 Winnow 的算法应用于自然语言处理的一项任务：上下文敏感的拼写纠正，并比较它与使用贝叶斯分类器的一种基于统计的方法。研究发现，当使用全套特征时，Winnow 能够充分发挥新特征的优势并成功地击败贝叶斯；同时，在遇到与训练集不同的测试集时，Winnow 表现得比贝叶斯更好。

    Jul, 1996

  • 基于 Winnow 的上下文敏感拼写纠正方法

    本文介绍了一种将 Winnow 和加权多数表决算法相结合的算法，并将其应用于语境敏感的拼写纠正问题。通过将 WinSpell 与 BaySpell 进行比较，我们发现它在无修剪和修剪条件下都能显著提高 BaySpell 的准确性，学习了更好的线性分离器算法，且采用了在训练集上进行有监督学习和在（嘈杂的）测试集上进行无监督学习相结合的策略能够适应来自于与训练集不同的语料库的测试集.

    Oct, 1998

  • 使用 Knuth-Morris-Pratt 匹配算法的上下文偏差

    基于 Knuth-Morris-Pratt 算法的上下文偏置方法通过在束搜索期间提升匹配到一组偏置短语的令牌扩展的得分来解决偏向稀有实体的自动语音识别系统的问题，在不引入额外模型参数的情况下，本方法自身在偏置测试集上实现了显著的词错误率的降低，并在与基于模型的偏置方法相结合时获得了进一步的性能提升。

    Sep, 2023

  • 基于树约束指针生成器的上下文 ASR 中减小偏置词误差

    本文提出了一种基于 “TCPGen” 的端到端自适应语音识别模型，在训练和测试中引入外部语境信息和偏置词列表，并通过构建符号前缀树和优化偏置词错误率等手段，显著提高了长尾高价值词汇识别准确率，甚至在未出现在已知数据集中的词汇上也取得了较大的进展。

    May, 2022

  • Tree-Transformer: 一种基于 Transformer 的树形数据纠错方法

    本文提出 Tree-Transformer 神经网络架构，可用于树状结构数据的矫正任务，并在源代码和自然语言两个领域中分别取得了 25% 和 10% 的改进。

    Aug, 2019

  • 基于连续时间马尔可夫链的专用分类器集成

    本文探究了一种新方法，即将专用分类器的预测结果转化为一组有序对偏好，建立连续时间马尔科夫链，使用平衡分布作为最终预测，从而在大型公共数据集上取得了较大改进，特别是在分类器覆盖不平衡时。

    Sep, 2017