IJCAIMay, 2023

通过密度估计改进异构模型重用

PDF
TL;DR本文探讨了多方学习，旨在利用不同参与者的私有数据学习模型。作者提出通过估计本地数据密度并设计辅助模型来重复使用本地分类器，以解决不同参与方之间的潜在样本选择偏差问题。作者还提出了多方交叉熵损失，以解决一些本地模型训练不足的情况。实验结果表明，该方法在合成和基准数据上都优于其他方法。
发现论文，激发创造
  • 多方数据隐私学习

    本文提出了一种如何从不同方的私有数据中构建准确的差分隐私全局分类器的方法，即通过从辅助非标记数据创建标记数据，然后训练全局的差分隐私分类器来转移本地分类器集成的 “知识”，我们通过从集成估计的类概率加权的新风险进行了解决。我们的解决方案相对于非私有解决方案具有 O (ε^-2M^-2) 的广义误差界限，其中 M 为参与方的数量。

    Feb, 2016

  • 局部独立预测模型集合

    本文通过介绍新的多样性度量方法介绍了一种新的模型集成方法，该方法特别适用于数据限制和协变量转移，可显著提高模型的多样性和泛化性能。

    Nov, 2019

  • 隐私保护联邦学习的混合方法

    本文提出了一种结合差分隐私和安全多方计算的联邦学习方法，在保证训练和最终模型的隐私性的同时，也能够保持较高的预测准确率，这个系统不仅能应用于多种机器学习模型的训练，而且在实验上验证了它的优越性。

    Dec, 2018

  • 面向数据异构性的分散式学习混合

    该研究探讨了分散式学习框架的收敛性与混合度之间的关系，并提出了一种定量衡量梯度混合度的指标以及优化方法，通过实验证明该方法能够在计算机视觉和 NLP 等任务中提高测试表现。

    Apr, 2022

  • 多头多损失模型校准

    提高机器学习模型的预测准确性和可靠性，本文提出了一种简化深度集成模型的方法，通过不同的误差计算方法来训练多个线性分类器，达到与成本高昂的深度集成模型相同的校准能力和良好的分类性能，适用于组织病理图像和内镜图像的分类应用。

    Mar, 2023

  • 多方机器学习中的污染攻击及其缓解

    本文讨论了在多方数据联合训练机器学习模型时，可能存在一方恶意注入污染数据导致模型性能下降的问题，并提出了采用对抗训练的方法可以避免此问题，同时保证各方数据的隐私安全。

    Jan, 2019

  • 混合密集回归用于物体检测和人体姿态估计

    本文提出了使用混合密度网络进行空间回归的框架，在物体检测和人体姿态估计任务中，混合模型提高了准确性并使输入空间划分为可解释的模式。

    Dec, 2019

  • 极限分类和密度估计的树和表示同时学习

    我们提出了一种新颖的算法，可以同时进行输入数据的表示学习和层次预测器的学习，该算法通过优化多向节点划分的平衡和易分离性来实现目标函数，从而实现分类误差的上界和提高准确性，并将算法的变体应用于文本分类和语言建模中。

    Oct, 2016

  • Graynet 中多方隐私学习的 Meta-Generalization 用于识别异常多媒体流量

    本文研究了在分布式服务系统、多代网络和未来的万物互联环境下，识别异常多媒体流量的挑战，探索了基于元泛化的多方隐私学习模型在 Graynet 中的应用，通过改变字节级嵌入的维度、改变提取包级特征的深度、调整预处理流量级数据的支持集大小等三个元泛化原则来降低该多方隐私学习模型的泛化误差，实验结果表明该方法具有较高的性能。

    Jan, 2022

  • 利用生成回放在医学图像协作学习中处理数据异质性

    本文介绍一种新颖的生成回放策略，以解决协作学习中数据异构性的挑战，并将其应用于医疗应用中的深度神经网络培训中。该方法通过利用生成对抗学习来汇总所有本地机构的知识，而不是直接聚合模型参数，从而实现知识的聚合和隐私保护。实验结果表明，与目前最先进的协作学习方法相比，在高度异构的数据分区上，我们的模型在糖尿病视网膜病变分类数据集上的预测准确度提高了约 4.88％，在骨龄预测数据集上的平均绝对值减少了约 49.8％。

    Jun, 2021