大型语言模型:大规模隐私政策分析的新方法
通过利用大型语言模型(LLM)开展文本分析,本研究构建了 PolicyGPT 隐私政策文本分析框架,并在两个数据集上进行了测试,结果表明在零样本学习条件下,PolicyGPT 取得了强大的性能,并优于传统机器学习和神经网络模型。
Sep, 2023
给出了当前针对大型语言模型(LLMs)的隐私攻击的全面分析,并对其进行了分类,同时提供了用于对抗这些隐私攻击的重要防御策略,并指出了 LLMs 发展中可能出现的新的隐私问题和未来的研究方向。
Oct, 2023
利用特定域数据对大型语言模型进行微调时,存在个人身份信息敏感度的问题。为了解决这一挑战,我们引入了隐私保护语言模型(PPLM),通过有效注入特定领域知识来保护数据隐私。我们的工作提供了模型设计理论分析,并详细介绍了诸如语料库整理、基于惩罚性失真的训练损失和基于指令的微调等技术。在各种数据集和场景下的广泛实验证实了我们方法的有效性。特别是,正负样本指令微调成为一种有潜力的方法,可以在增强模型知识的同时保护私人数据。我们的工作突显了大型语言模型作为强大隐私保护学习器的潜力。
Oct, 2023
在大型语言模型中,该研究对隐私问题进行了第一次调查,重点关注对模型进行红队测试以凸显隐私风险、试图将隐私性纳入训练或推理过程、实现从训练模型中高效删除数据以遵守现有隐私法规,并试图缓解版权问题。
Dec, 2023
基于大型语言模型的系统,在用户隐私方面存在问题,需要更多关注人类隐私问题的研究,包括设计范例对用户的行为披露、用户心智模型和隐私控制偏好的影响,以及赋予终端用户对个人数据的拥有权的工具设计,在此基础上构建可用、高效、具有隐私友好性质的系统。本文旨在启动关于人类隐私问题研究的讨论,为基于大型语言模型的系统中的隐私问题制定议程。
Feb, 2024
我们设计了一个三层渐进式框架,用于评估语言系统的隐私,以解决大型语言模型在隐私保护方面的问题。观察结果显示,现有的汉语大型语言模型普遍存在隐私保护方面的缺陷,可能在基于这些模型的应用中带来相应的隐私风险。
Mar, 2024
使用大型语言模型(LLMs)辅助人类客服代理商自动生成现成或有改动的响应已成为许多公司降低雇用客服代理商成本的方式。本文通过使用成本框架评估一个 NLP 模型的实用性,将其应用于特定品牌的案例研究并比较三种 LLM 的专业化策略,发现模型的响应可用性可以补偿推理成本的巨大差异,并将研究结果推广到更广泛的企业领域。
Jun, 2023
近期在隐私研究中,大型语言模型在推断真实世界在线文本中的个人数据方面已经达到接近人类水平的性能。在存在不断增长的模型能力的同时,现有的文本匿名化方法目前无法满足监管要求和对抗威胁。这引发了一个问题,即个人如何能够有效地在分享在线文本时保护自己的个人数据。本研究分两步回答这个问题:首先,我们提出了一个新的环境,在对抗性大型语言模型推理的情况下评估匿名化性能,从而在纠正以前的指标缺陷的同时,实现对匿名化性能的自然度量。然后,我们提出了基于大型语言模型的对抗性匿名化框架,利用大型语言模型的强大推理能力来指导我们的匿名化过程。在我们的实验评估中,我们展示了在真实世界和合成在线文本中,对抗性匿名化在结果效用和隐私方面均优于目前的工业级匿名化工具。
Feb, 2024