本研究通过对语言模型的逐字记忆进行探索，重点关注版权文字的再分发可能性，通过对一系列热门图书和编码问题进行实验，提供了个人估计的语言模型再分发这些材料的程度。总体而言，本研究强调了进一步研究的必要性，以及对版权法规遵守的潜在影响和未来自然语言处理发展的潜在影响。

Oct, 2023

采用欧洲法律为例，本研究提出了一种系统分析方法， quantifying potential copyright infringements in large language models (LLMs)。通过使用 160 个字符的阈值和模糊文本匹配算法，研究分析了指导微调模型在真实终端用户场景中的行为和特征。该研究结果发现在几种主流的 LLMs 中对版权合规、行为特征和适当拒绝方面表现出巨大差异。

May, 2024

本研究探讨使用未经授权的代码构建 LLMs 所带来的安全、隐私和版权问题，并提出了四条可行的建议。

Feb, 2023

当前大型语言模型存在版权侵权问题，相关挑战包括版权合规评估、鲁棒性防御以及生成版权文本的有效防御机制。本文介绍了一个数据集用于评估方法、测试攻击策略，并提出了轻量级、实时的防御机制以确保大型语言模型的安全合法使用。实验证明，当前大型语言模型存在生成版权文本的问题，而越狱攻击会显著增加生成的版权文本量。我们提出的防御机制通过有效拒绝恶意请求，显著减少了大型语言模型生成的版权文本量。代码公开可用于该链接网址。

Jun, 2024

大规模语言模型（LLMs）的商业化导致了对专有模型进行高级 API 访问的常见做法。然而，我们的研究发现，即使在对模型架构保守假设的情况下，通过相对较少的 API 查询（例如，OpenAI 的 gpt-3.5-turbo 下成本不到 1000 美元），仍然可以从 API 保护的 LLM 中获取大量非公开信息。此研究发现的核心观察结果是：大多数现代 LLM 都存在 softmax 瓶颈，这会将模型输出限制在完整输出空间的线性子空间内。我们展示了这一现象可用于建立模型图像或模型特征，从而具备多种功能，包括高效发现 LLM 的隐藏大小、获取完整词汇输出、检测和消除不同的模型更新、根据单个完整 LLM 输出确定源 LLM，甚至估计输出层参数。我们的实证研究证明了我们方法的有效性，根据我们的方法，我们估计 OpenAI 的 gpt-3.5-turbo 的嵌入大小约为 4,096。最后，我们讨论了 LLM 供应商可以采取的保护措施，以及这些功能如何被视为一种特性（而非 Bug），通过实现更高的透明度和责任可得到更多好处。

Mar, 2024

介绍了一种用于检测和评估用于大型语言模型的训练数据集中的潜在版权书籍内容的详细框架，并提供了每个内容样本包含的可信度估计。通过模拟实验证实了该框架在识别和解决语言模型训练过程中的内容滥用方面的有效性，同时研究了这些数据集中来自名著的可识别引用语的存在。研究结果对于确保版权材料在语言模型开发中的合理使用具有重要意义，强调了在该领域需要更加透明和负责任的数据管理实践。

Jan, 2024

本文旨在探究大型语言模型训练所使用的开放数据集的版权利益，以及生成式写作工具如何规避其版权问题，最后提出了可供开发人员、软件法律专家和普通用户在智能大型语言模型驱动的写作工具背景下考虑的实际版权分析路线图。

Apr, 2023

在这篇论文中，我们提出了一种稳定的序列遗忘（SSU）框架，该框架使用任务向量，通过引入额外的随机标签损失和应用基于梯度的权重显著性映射，以更稳定的方式在不同的时间步骤中从 LLMs 中删除受版权保护的内容，实验证明 SSU 在遗忘效果和保持模型的一般知识之间取得了良好的平衡。

Jun, 2024

本文介绍了大型语言模型的概念、挑战和解决方法，着重关注了数据集偏差和简化学习对其抗干扰性的影响，提出了识别和缓解这些影响的方法，并探讨了未来可能的研究方向。

Aug, 2022

机器遗忘是人工智能中的一个新领域，专注于解决在机器学习模型中有选择地遗忘或减少不良知识或行为的挑战，特别是在大型语言模型（LLM）的背景下。本文介绍了一种使用梯度上升算法对 LLM 进行对齐的方法，以便符合伦理、隐私和安全标准，并目标性地删除或修改 LLM 中的学习信息，以解决有害回应和版权问题。

May, 2024