Jun, 2023

如何提高半隐私学习的效果：PILLAR

PDF
TL;DR该研究提出了一种用于半监督半私有学习的计算方法，通过使用预先在公共数据上训练好的网络特征，能在较低标注的私有数据复杂性的情况下，有效地运行于现实世界数据，并在紧密的隐私约束下享受更好的性能。
semi-supervised learningsemi-private learninglabelled dataunlabelled dataprivacy
发现论文，激发创造
  • 剪枝无标签数据以提升半监督学习

    该研究提出了 PruneSSL，一种可用于增强原始未标记数据集可分离度的实用技术，通过实证研究表明，尽管 PruneSSL 减少了学习器的可用训练数据量，但它显著提高了多种竞争的半监督学习算法的性能，从而在多个图像分类任务中达到了最先进的结果。

    Aug, 2023

  • 安全的半监督求和 - 积网络学习

    介绍了使用半监督学习来学习 Sum-Product Networks 的参数，并证明该方法具有计算效率高、不强制要求数据分布、能保证性能、可以进行生成和判别学习等多种优势.

    Oct, 2017

  • 基于公共数据的差分隐私学习的 Oracle 高效实现

    通过利用公共数据来提高私人学习算法的性能，本研究提出了第一种具有计算有效性的算法，以确保在满足与私人样本相关的差分隐私的同时，当私人数据分布足够接近公共数据时也能保证学习效果，并且在函数类可非私密学习时可进行私人学习的证明。

    Feb, 2024

  • 为何基于伪标签的半监督学习算法如此有效？

    该研究分析了基于伪标签的半监督学习算法之所以有效的理论原因，并比较了有标记数据与有适当初始模型的无标记数据两种情况下训练的模型的泛化误差，证明了在足够数量的无标记数据的情况下，基于伪标签的半监督学习算法可以收敛到最优误差上限，并给出了达到线性收敛率的采样复杂度下限。

    Nov, 2022

  • 基于成对相似度和无标签数据的分类

    提出了一种新的弱监督学习设置，称为 SU 分类，只需要相似数据对和未标记数据点，可以从 SU 数据中获得分类风险的无偏估计量，并证明其经验风险最小化器的估计误差达到最优参数收敛速率。通过实验证明了该方法的有效性。

    Feb, 2018

  • 基于半监督知识迁移的深度学习私有训练数据共享

    本研究提出了一种称为私有教师集成（PATE）的方法，通过多个使用不同数据集训练的模型进行加密学习，从而实现对模型训练数据的隐私保护，达到最新的隐私 / 效用平衡，且适用于包括非凸模型在内的任何模型。

    Oct, 2016

  • SemPPL: 为获得更好的对比表示而预测伪标签

    提出了一种新的半监督学习方法 —— 通过伪标签的语义正例（SemPPL），结合标记和未标记的数据来学习信息表示，其通过自监督对比学习扩展了一种新的方法来选择正例。

    Jan, 2023

  • 无监督选择性标记以实现更有效的半监督学习

    本文介绍了一种基于聚类原型的无监督选择性标注方法，通过它来提高半监督学习的效率。该方法能够在没有标记数据的情况下，选择代表性和多样性数据作为标记数据，显著改进了现有的半监督学习方法的性能。

    Oct, 2021

  • 课程标记：重新审视半监督学习中的伪标记

    本文重新审视了伪标记的概念，提出了一种基于半监督学习的方法，通过将伪标记应用于无标签集中的样本，并利用已训练好的模型标记这些样本，然后迭代重复此过程来训练模型。本文通过实验证明，伪标记方法可以取得与现有最先进方法相媲美甚至更好的结果，并且更能抵御未知分布样本。作者指出采用学习课程原理以及在每个自我训练周期前重启模型参数是实现这一点的两个关键因素。在 CIFAR-10 数据集上，本文仅使用了 4,000 个标记样本，达到了 94.91% 的准确率，在 Imagenet-ILSVRC 数据集上，本文仅使用了 10％的标记样本，达到了 68.87％的 top-1 的准确率。

    Jan, 2020

  • 使用公共特征的私密学习

    研究一类私有学习问题，其中数据是私有特征和公共特征的联接。针对多编码器模型中的公共特征，开发了新的算法以仅保护某些足够统计量，从而实现了线性回归的保证效用改进，并在两个标准的私有推荐基准上达到了最先进的水平，证明了适应私有 - 公共特征分离的方法的重要性。

    Oct, 2023