LaF：用于自动深度神经网络重用的无标记模型选择

Apr, 2022

LaF：用于自动深度神经网络重用的无标记模型选择

LaF: Labeling-Free Model Selection for Automated Deep Neural Network Reusing

Qiang Hu, Yuejun Guo, Maxime Cordy, Xiaofei Xie, Mike Papadakis...

TL;DR本文提出了一种基于贝叶斯模型的无标签模型选择方法，该方法可以用于深度学习中的预训练模型选择，实验结果表明该方法在多个基准数据集和 DNNs 上表现优异。

Abstract

Applying deep learning to science is a new trend in recent years which leads DL engineering to become an important problem. Although training data preparation, model architecture design, and model training are the normal processes to build DL models, all of them are complex and costly.

deep learning pre-trained model model selection labeling-free bayesian model

发现论文，激发创造

FreeAL：大语言模型时代的无人主动学习

在大型语言模型时代，我们提出了创新的协作学习框架 FreeAL，通过与 LLMs 交互式提取和过滤任务特定知识，显著提高了 SLM 和 LLM 的零样本性能，无需人工监督。

Nov, 2023

DEAL: 图像分类的深度证据主动学习

本文提出一种新的主动学习算法，将 CNN 模型的输出从 softmax 替换为 Dirichlet 值，实现从未标记数据中提取最具信息量的标记数据集，该方法在多项数据集和医学图像识别领域中与其他主动学习方法相比均具有更高的性能表现和易于实现且不需要大量计算资源的优点。

Jul, 2020

众包深度学习

本文提出了一种基于 EM 算法和众包技术的神经网络训练模型，能够直接从多个标注者的嘈杂标签数据中进行有监督学习，并能够捕捉不同标注者的可靠性和偏见，最终在多个领域获得了新的最优结果。

Sep, 2017

通过行动理解世界

论文阐述了利用强化学习框架和大规模数据集进行无标签学习的思路及其应用。

Oct, 2021

深度贝叶斯主动半监督学习

通过半监督深度学习与主动学习相结合的方法，使用尽可能少的标记样本，同时利用熵最小化对未标记样本进行训练，在 MNIST 数据集上仅使用 300 个标记样本实现 2.06% 的误差率和 1000 个标记样本实现 1.06% 的误差率。该方法可以获得高准确性的敏捷标注过程，同时节省标记成本。

Mar, 2018

深度主动学习反思：在模型训练中利用未标记数据

该研究提出了在主动学习的过程中既利用有标签的数据，也利用无标签的数据进行模型训练的方法，并使用了无监督特征学习和半监督学习的技术，研究表明使用无标签数据进行模型训练在图像分类任务中可以带来比不同获取策略更高的准确度，因此可以得到更小的标签预算。

Nov, 2019

面向可计算的深度主动学习

该研究介绍了两种用于文本分类和标记任务的技术，可以显著减少深度学习中主动学习繁重的计算资源需求，通过伪标签和蒸馏模型实现更高性能的模型训练。

May, 2022

学习从众的标签选择方法

使用 Learning from Crowds 框架中的 Label Selection Layer 方法，通过选择性网络确定是否使用工人的标签进行训练，提供了一种有效的解决 Crowd annotations 中的标签噪声问题的方法。实验证明该方法在几乎所有的监督学习问题中都能获得与或优于当前最先进的方法相当的性能。

Aug, 2023

资源受限环境中的深度主动音频特征学习

讨论一种在生物声学应用中使用主动学习框架并结合特征提取的方法，能够有效减少数据标记的工作量，提高分类模型的效果。

Aug, 2023

贝叶斯生成主动深度学习

本文提出一种贝叶斯生成主动深度学习方法，将主动学习与数据增强相结合，通过在 MNIST、CIFAR-10/100 和 SVHN 数据集上进行训练和分类实验证明，此方法具有更高效的训练和更好的分类结果。

Apr, 2019