Jan, 2023

测试时个性化隐私审计和优化

PDF
TL;DR本文探讨了在重要领域（如辅助法律、银行、招聘和医疗抉择的学习模型），是否需要全部的输入特征才能在测试时返回准确的预测，并表明在个性化的环境下，每个人仅需要发布一小部分的这些特征就能保证系统准确度不受影响。研究显示，在一些学习任务中，个体只需提交不到总数据的 10％即可确保与使用完整信息的模型同样准确。同时，本文还提供了一个高效的序列算法来选择哪些属性应由每个个体提供。
privacypersonalized learningfeature selectionconsequential domainsaccuracy
发现论文，激发创造
  • 推断时的数据最小化

    本文考虑在隐私、准确性和个性化之间的权衡，通过提供一种有效的顺序算法，确定在个性化背景下仅需披露小部分特征即可提供和利用敏感数据，并演示了在不同学习任务中，个体只需披露 10% 的属​性即可保持与全集的精度相同。

    May, 2023

  • 隐私保护预测

    探讨在分类和回归等多种模型中，为实现个体预测隐私保护所需的成本，以及通过训练多个模型并使用标准的聚合技术来预测，以降低聚合步骤引入的开销，并建立所有不同隐私预测算法的强广义保证，从而研究机器学习中差分隐私的最优样本调整量。

    Mar, 2018

  • 机器学习模型隐私风险的系统评估

    本文研究了机器学习模型的隐私风险和成员推理攻击，提出了一种基于预测熵修改的推理攻击和一个新的隐私风险得分指标，同时对已有的防御机制进行了基准攻击，实验结果表明个体样本的隐私风险得分分布差异很大，同时确定源风险的主要因素与模型敏感性、综合误差和特征嵌入有关系。

    Mar, 2020

  • 融合个人知识于测试时间预测

    该研究报告介绍了人工特征整合的问题，该问题提供了一种将非专业领域用户的重要个人知识纳入到机器学习预测中的方法，并通过用户故事和与现有方法的比较，形式化地描述了该问题，为未来的技术解决方案奠定了基础，并在半现实环境中进行了一个简单版本的解决方案的概念验证研究。

    Jun, 2024

  • 使用公共特征的私密学习

    研究一类私有学习问题，其中数据是私有特征和公共特征的联接。针对多编码器模型中的公共特征，开发了新的算法以仅保护某些足够统计量，从而实现了线性回归的保证效用改进，并在两个标准的私有推荐基准上达到了最先进的水平，证明了适应私有 - 公共特征分离的方法的重要性。

    Oct, 2023

  • 机器学习中的隐私风险：分析与过度拟合的关联

    本篇论文探讨了机器学习算法在敏感数据应用时对隐私的威胁，分析了过拟合和影响因素对攻击者从训练数据中提取信息的能力的影响，并研究了成员推断和属性推断之间的联系。

    Sep, 2017

  • 我选择不透露：用户保护个人数据是否受到惩罚？

    本文研究了在个人选择共享可选信息和选择不共享个人数据的情况下，如何确保公正的结果。为解决此问题，提出 Optional Feature Fairness (OFF) 的概念和数据增强策略，并在多个挑战性实际任务中进行了广泛分析。

    Oct, 2022

  • 语言模型如何受指导以保护个人信息？

    大规模多模式语言模型已在许多应用中证明具有变革性。然而，这些模型已被证明会记忆和泄漏预训练数据，引发用户隐私和信息安全方面的严重关切。我们介绍了 PrivQA - 一个多模式基准，用于评估在模拟场景中指示模型保护特定类别个人信息时，此隐私 / 效用权衡。我们还提出了一种通过迭代自我调节响应的技术，在很大程度上提高了隐私。通过一系列红队实验，我们发现对手可以通过简单的越狱方法绕过这些保护，使用文本和 / 或图像输入。我们相信 PrivQA 有潜力支持开发具有改进隐私保护和对抗鲁棒性的新模型。我们在指定的网址上发布了整个 PrivQA 数据集。

    Oct, 2023

  • 人类直觉作为防御属性推断的手段

    评估了人们修改公开数据以保护隐私的能力，发现人们的效力不如人工智能。强调现代 AI 时代需要算法支持来保护个人信息。

    Apr, 2023

  • 大语言模型时代的隐私保护：你所写即你所是

    本文调查了一系列流行模型中预训练表示所编码的个人信息的程度，并展示了模型越复杂和数据越多，可能出现数据泄露的正相关性。作者对一种大型多语言数据集上的情感分析特征进行了广泛覆盖的比较和评估，结果表明，隐私保护方法的使用非常重要。作者还发现高度隐私保护的技术（如差分隐私）可能会对模型效用产生严重影响，可以使用混合或度量隐私方法来解决。

    Apr, 2022