Feb, 2023

基于不确定性引导的集成自训练方法，用于半监督的全球场地重建

PDF
TL;DR本文提出了使用大量未标记的数据提高重建性能的不确定性引导集成自我训练方法 (UGE-ST)。在此框架下，设计了一个包括集成教师和预训练学生的自我训练框架，以提高伪标签的准确性并缓解噪声的影响。同时，提出了一种不确定性引导的学习方法，以鼓励模型集中在伪标签的高置信度区域，并减轻自我训练中错误伪标签的影响，从而提高重建模型的性能。实验结果表明，UGE-ST 在保持与监督学习相同准确性的情况下，可以节省达到 90% 的数据。
complex physics fieldlimited sensoruncertainty guided ensemble self-trainingself-training frameworkuncertainty-guided learning
发现论文，激发创造
  • 半监督语言理解中基于不确定性的参数高效自训练

    UPET 是一个新颖的、针对标记数据稀缺问题的不确定性感知的参数高效自训练框架，通过在蒙特卡洛（MC）dropout 和贝叶斯神经网络（BNN）中进行不确定性估计，并基于置信度和确定性选择可靠的伪标记样本，在学生训练中引入多个参数高效学习（PEL）范式来仅优化一小部分参数，以及提出了一种新颖的 Easy-Hard 对比调优方法来增强鲁棒性和泛化性能。大量的实验证明 UPET 在性能和效率方面取得了显著改进。

    Oct, 2023

  • 半监督学习的时间集成

    本文提出了一种用于在小部分标记的情况下训练深度神经网络的简单高效方法，采用自我模拟方案的集成预测来提高标签的未知性，从而使得在两个标准半监督学习基准测试中加快速度并实现更好的性能。

    Oct, 2016

  • 自训练用于类增量语义分割

    提出了一种基于自监督学习和伪标签的自训练方法，用于减轻深度神经网络在逐步学习新类任务时出现的灾难性遗忘问题，该方法不仅考虑了历史任务的知识，还利用了额外的数据提高了语义分割的性能。

    Dec, 2020

  • 自集成领域转移中的域混淆问题

    本文提出了一种将域混淆和自学习方法相结合的模型，称为域混淆自集成（DCSE），用于解决机器学习中数据收集和标注的时间成本高的问题，并验证了该方法在多种无监督域适应基准上表现比经验艺术更好。

    Oct, 2018

  • 通过自我训练与梯度指导提高事件抽取

    提出了一种自训练与梯度引导（STGG）框架用于事件提取任务，可应用于任意基础事件提取模型以利用广泛的未标记数据进行性能改进。

    May, 2022

  • 自监督多视角立体匹配中的不确定性探究

    提出了一种新的 UMVS 框架，通过估计自监督 MVS 中的认知不确定性来处理前景中的不确定监督和背景中的无效监督信号，并在 DTU 和 Tank＆Temples 基准测试中获得了最佳性能。

    Aug, 2021

  • 使用自训练集成方法检测未标记数据上的错误并估计准确性

    本文提出了一个结合了模型集成学习和自训练的框架，用于解决深度学习模型在实际部署中遭遇训练数据分布不同的测试数据导致性能下降的问题，同时解决无监督准确度估计和错误检测两个挑战性任务，并在 59 项任务中取得了最优结果。

    Jun, 2021

  • 自我卷积：用于超分辨显微镜的深度展开自监督学习

    利用荧光分子创建低密度、衍射限制图像的长序列，可以实现高精度的分子定位；然而，该方法需要较长的成像时间，限制了对活细胞动态相互作用的观察；我们提出了一种深度展开的自监督学习方法，通过训练一个仅从给定测量值学习的基于模型的自编码器来消除对大量训练数据的需求，该方法在性能上超过了其有监督对应物，从而实现了动态成像在衍射极限以下，而无需任何标记的训练样本；此外，建议的基于模型的自编码器框架可以用于改善任何稀疏恢复框架中的泛化能力，而无需外部训练数据。

    Mar, 2024

  • 通过解缠和自组装在随机潜空间上进行半监督学习

    本文提出了一种结合半监督学习 (Semi-supervised learning, SSL) 和无监督分化表征学习的方法来增强自我聚合算法 (self-ensembling)，并以多标签分类的方式在胸部 X 光图像上进行了验证。结果表明，该方法的性能得到了改善，并且其分化的表征也更加具有解释性。

    Jul, 2019

  • 基于熵导向的自监督学习用于语义分割领域自适应

    使用熵作为置信度指标的熵引导自监督学习 (ESL) 方法，在无监督域自适应语义分割任务中实现了最先进的结果。

    Jun, 2020