经济有效的在线上下文模型选择

Jul, 2022

Cost-Effective Online Contextual Model Selection

Xuefeng Liu, Fangfang Xia, Rick L. Stevens, Yuxin Chen

TL;DR本研究提出了一种上下文活动模型选择算法（CAMS），基于给定策略类的一种新型的不确定性采样查询标准，实现了自适应模型选择任务，相比其他算法可以大幅度降低标记成本，实验证明该算法在多个基准分类数据集上具有效果优异的指标表现。

Abstract

How can we collect the most useful labels to learn a model selection policy, when presented with arbitrary heterogeneous data streams? In this paper, we formulate this task as an online contextual active model selection problem, where at each round the learner receives an unlabeled dat

active model selection contextual learning uncertainty sampling label cost classification datasets

发现论文，激发创造

多重好处：在线监督学习中的稳健模型选择

本文提出一种能够在线预测的算法，能够在概率和对抗性设置下与未知复杂度的情境树专家相竞争。通过将结构风险最小化的概率框架纳入现有的自适应算法中，我们不仅可以稳健地学习存在随机结构的同时获得正确的模型阶数，并取得了能够与拥有强侧面信息的最优算法竞争的遗憾边界，从而提供了对模型和随机性同时适应性的第一个具体保证。

May, 2018

小数据的模型选择实用主动学习

本研究开发了一种基于支持向量分类的基础池式主动学习器的快速简单的实践方法，旨在解决很少标记数据点的情况下进行模型选择的挑战，并通过加权方法让模型在易于分类数据集和难以分类数据集之间取得平衡的最佳性能。

Dec, 2021

在线机器人基础模型选择

基于在线学习的用户中心化模型选择问题的解决方案通过结合开源编码器输出上下文和处理该上下文的在线学习算法，改善了选择开源和闭源模型之间的权衡，从而大幅提高了任务成功率。

Feb, 2024

CAMELL：基于置信度的高效自监督主动学习与标签验证模型

CAMELL 是一种面向序列多输出问题的基于置信度的快速自我教育主动学习框架，通过仅令专家注释选定序列的一部分并利用自我监督和标签验证机制，提高了数据集的质量和模型性能。

Oct, 2023

上下文感知选择性标签平滑以校准序列识别模型

本文提出了一种基于上下文的选择性标签平滑方法（CASLS），以解决训练过程中的过度拟合问题以及置信度校准问题，通过利用顺序数据中的上下文依赖性来构造混淆矩阵，并使用类特定错误率来调整平滑强度的权重，从而实现自适应校准。在场景文本识别和语音识别等序列识别任务上的实验结果表明，本文所提出的方法可以实现最先进的性能。

Mar, 2023

克服自信心以实现主动学习

该研究提出了两种新颖的方法来解决主动学习场景中出现的过度自信问题，一种是名为 Cross-Mix-and-Mix（CMaM）的数据扩增策略，旨在通过扩展有限的训练分布来校准模型；另一种是名为 Ranked Margin Sampling（RankedMS）的数据选择策略，以防止选择导致过度自信预测的数据。通过各种实验和分析，我们能够证明我们的提议通过缓解过度自信，促进了有效的数据选择。

Aug, 2023

机会式学习：来自数据流的有限成本敏感学习

本研究提出了一种基于强化学习和 MC dropout 采样方法的在线成本敏感特征获取方案，该方案可适用于流式学习的场景，测试结果表明该方案能够有效地获取特征并做出准确预测。

Jan, 2019

主动学习的语境多样性

通过引入上下文多样性的概念，利用所提出的上下文多样性度量在两个主动学习框架中使用，以进行主动帧选择，并在语义分割，目标检测和图像分类的基准数据集上建立最先进的结果。

Aug, 2020

主动模型选择

该论文研究了主动学习中困难的预测模型选择问题，并提出一种基于模型探针（model probes）的方法 Biased-Robin Algorithm，能够在相同成本和先验概率下有效地选择模型。

Jul, 2012

通过不确定性估计进行最佳样本选择及其在深度学习中的应用

通过开发一个新的算法 COPS，我们提出了一个理论上最佳的解决方案，以最小化从样本数据训练的模型的预期损失。我们的方法在深度学习任务中可以有效地应用，通过使用模型的对数几率来估计采样比例，并通过低密度样本的降权方法来解决模型对错误规范的敏感性挑战。实证实验表明，COPS 相对于基线方法具有卓越的性能。

Sep, 2023