NIPSDec, 2016

语音识别的主动学习：梯度的威力

PDF
TL;DR本研究中，我们探究了基于梯度的主动学习方法 —— 期望梯度长度（EGL）在端到端语音识别中的应用，从方差减少的角度证明了 EGL 的有效性，并且实验证明，与随机采样相比，EGL 能够减少 50% 的标签样本或者将单词误差率降低 11%。
发现论文，激发创造
  • Ask-n-Learn：基于可靠梯度表示的主动学习图像分类

    本论文提出了一种基于梯度嵌入和预测校准的主动学习方法 Ask-n-Learn，结合数据扩增缓解伪标注期间的确认偏差，通过对基准图像分类任务（CIFAR-10，SVHN，Fashion-MNIST，MNIST）的经验研究，证明了该方法优于最近提出的 BADGE 算法等现有基线。

    Sep, 2020

  • 贪心采样实现回归活性学习

    该论文提出了两种基于贪心采样的主动学习方法，一种选择增加输出空间中的多样性，另一种选择增加输入和输出空间的多样性，经过大量实验验证在各种领域的数据集和驾驶员昏沉感估计中都具有很好的效果和鲁棒性。

    Aug, 2018

  • 资源受限环境中的深度主动音频特征学习

    讨论一种在生物声学应用中使用主动学习框架并结合特征提取的方法，能够有效减少数据标记的工作量，提高分类模型的效果。

    Aug, 2023

  • 主动标注：流式随机梯度

    介绍了一种使用部分监督的主动学习方法，在详细阐述机器学习中随机梯度下降和鲁棒回归的基础上，提供了流式技术以证明其最小一般化误差和采样数的比率。

    May, 2022

  • ASR 中的自适应与半监督学习：对声学和语言模型的益处

    本篇论文旨在模拟在新的语音识别应用程序中应用主动学习（AL）和半监督训练（SST）带来的好处，研究数据选择方法对声学和语言模型（AM 和 LM）的影响。最终的仿真报告显示，与随机选择相比，AL 可以减少约 70％的转录成本，或在固定转录预算的情况下将单词错误率提高约 12.5％。

    Mar, 2019

  • 基于不同意的不可知主动学习方法的拓展

    本文提出一个算法，利用一种 “从一致的主动学习到具有保证错误的置信度评估预测” 的减少，以及一种新颖的置信度评估预测器解决了确保标签复杂度更低的主动学习问题。

    Jul, 2014

  • 测试分布感知主动学习：针对分布偏移和异常值的原则性方法

    本文探讨了模型为基础的主动学习方法中存在的根本缺陷以及如何通过最大化潜在的未来预测的信息收益来解决这些问题，并提出了一种基于 BALD 和 EPIG 的混合方法，称为 JEPIG，并在多个数据集上使用这种方法进行了研究，考察了其在池集分布变化时的行为。

    Jun, 2021

  • 主动自适应的序列学习

    提出了一种主动和自适应地解决一系列机器学习问题的框架，该框架通过使用一些未标记数据池中的最具信息量的样本，利用先前步骤中获得的信息，使用基于随机梯度下降的主动学习算法来实现近乎最优的风险性能，并构建了一个学习问题变化的估计器，通过使用主动学习样本提供一种自适应的样本大小选择规则，以保证足够的时间步数时超额风险是有界的。

    May, 2018

  • 基于预测的贝叶斯主动学习

    提出一种新的主动学习策略 - 期望预测信息增益（EPIG），比传统的基于 BALD score 的方法，在模型预测上取得更强的性能，可以用于各种数据集和模型。

    Apr, 2023

  • 边缘引导和类别平衡的主动学习用于航空图像的语义分割

    提出了基于边缘指导的标注单元作为新单元以及对类别不平衡的综合性处理，改进的方法在三个基准数据集上相比最先进方法获得了超过 11.2% 的性能提升，并相比基准模型提高了超过 18.6% 的性能表现，为未来关于航空图像语义分割的主动学习研究建立了公平而强大的基准。

    May, 2024