最大间隔输出编码
本研究比较了几种解决多分类学习问题的方法,包括决策树算法、二元概念学习算法和采用分布式输出表示的二元概念学习算法,发现采用纠错码作为分布式输出表示的方法可以提高 C4.5 和反向传播算法在多分类任务中的泛化性能,同时也可提供可靠的类概率估计。
Jan, 1995
本文提出一种能够生成离散信息最大化码(DIMCO)的模型,该模型使用了概率编码器,可以产生与输入数据相关联的 k 路 d 维码。我们的学习目标是最大化代码和标签之间的互信息,同时使用正则化来强制码字的项尽可能独立。我们的分析表明,使用 DIMCO 这样的短代码可以在少样本分类的情况下减少过拟合,并且相对于以前的方法,DIMCO 获取的代码在内存和检索时间方面也更加高效。
May, 2019
提出使用 $ ext {MCR}^2$ 最大编码率减少原则来学习区分类别的内在低维结构,可以在有监督学习、自监督学习和无监督学习中以统一的方式学习内在表示,并可产生更鲁棒的标签噪声分类结果。
Jun, 2020
该论文介绍了一种基于近似搜索的学习框架,可以在较小的计算成本下优于精确模型,将结构化输出问题从精确模型转化为近似搜索的问题,并给出了两个收敛定理和界限的参数更新方法。
Jul, 2009
本研究探讨了使用非线性决策树模型学习具有被审查或区间值输出数据的回归函数的问题,提出了一种优化边界驱动的判别函数的树学习算法,并在多个数据集上进行了实证研究,证明其具有最先进的速度和预测精度。
Oct, 2017
本文提出了一种新的神经机器翻译系统输出层计算方法,基于预测每个单词的二进制码,可以在最佳情况下将输出层的计算时间 / 内存需求缩小到对数级别。此外,本文还介绍了使用纠错码和结合 softmax 和二进制码来提高鲁棒性的两种高级方法。两个英日双向翻译实验表明,所提出的模型在接近 softmax 的 BLEU 分数的同时,将内存使用率降低到不到 1/10,CPU 解码速度提高了 5 到 10 倍。
Apr, 2017