Apr, 2023

讲述记忆：ChatGPT/GPT-4 所知图书的考古学

PDF
TL;DR通过数据考古，我们发现 OpenAI 模型已经记忆了大量的版权材料，并且记忆程度与这些书在网站上出现的频率相关。这些模型记忆未知书籍的能力使得文化分析的度量可靠性变得更加复杂，我们的研究表明，这些模型在记忆过的书籍上比非记忆书籍上表现得更好，这支持了开放模型的案例。
data archaeologychatgptgpt-4copyrighted materialsopen models
发现论文，激发创造
  • ChatGPT 所阅读的内容：一个生成人工智能应用程序使用的考古引用的起源

    该研究测试了 ChatGPT 的训练阶段似乎包含的考古文献，并通过填空分析推断表明 ChatGPT 未能访问真实引用的全部文本，部分引用的数据源可能来自维基百科页面，进而讨论了这对数据质量的影响。

    Aug, 2023

  • 机器心理学：大型语言模型预测人类记忆

    通过测试 ChatGPT 在语言记忆任务中对人类表现的预测能力，研究发现 ChatGPT 和人类的表现有惊人的一致性，尽管它们的内部机制可能存在显著差异，这一发现强调了生成型人工智能模型在准确预测人类表现方面的潜力。

    Mar, 2024

  • 从（生产）语言模型中可扩展地提取训练数据

    本文研究了可提取性记忆：对一个机器学习模型进行查询，对其训练数据进行高效提取的训练数据，而不需要事先了解训练数据集。我们表明，对于开源语言模型如 Pythia 或 GPT-Neo，半开放模型如 LLaMA 或 Falcon，以及闭源模型如 ChatGPT，对手可以提取出几千兆字节的训练数据。现有的文献中的技术足以攻击未对齐模型；为了攻击已对齐的 ChatGPT，我们开发了一种新的分歧攻击，使模型偏离其聊天机器人风格的生成，并以比正常行为时高 150 倍的速率发出训练数据。我们的方法显示，实践中的攻击可以恢复比以前认为的数据更多，并揭示当前的对齐技术不能消除记忆。

    Nov, 2023

  • 记忆之外：语言模型中随机内存访问的挑战

    通过合成任务，我们研究了生成式语言模型（例如 GPT-2）能否按顺序或随机访问其记忆，并发现记忆重述和置换等技术提高了随机访问能力，进而在问答任务中取得了显着的改进。

    Mar, 2024

  • 大型语言模型中的紧急和可预测记忆

    通过对 Pythia 模型套件的记忆行为进行度量和分析，发现中间检查点是模型记忆行为的更好预测因素，同时提供了有关模型和数据记忆得分分布的新颖发现

    Apr, 2023

  • 基于长期条件记忆的演化大型语言助理

    使用长期口头记忆的一种发展中的大型语言模型助理，旨在保存来自用户和 AI 助手之间历史对话的知识和经验，并应用于未来对话以生成更好的回应。

    Dec, 2023

  • 语言模型防止机械背诵，误导隐私保障

    通过 Bloom 过滤器与 ALL-CAPITAL text 跨越数据记忆的问题，阐述了训练数据的记忆问题与风险，并讨论了针对神经语言模型中数据记忆的潜在替代定义和本质难题。

    Oct, 2022

  • 神经语言模型中的反事实记忆

    本文提出了一种源于心理学中人类记忆分类的对抗性记忆学习方法，进行神经语言模型的训练数据筛选，以减少其对训练数据中的敏感信息的记忆，并探究其训练样本中的对抗性记忆，从而提供一种可用于测试数据及其生成的文本来源推定的直接证据。

    Dec, 2021

  • ChatGPT 是一个具有知识但缺乏经验的求解器：大型语言模型中常识问题的研究

    研究 LLMs 和 GPTs 在处理常识问题中的表现，实验结果表明：(1) GPTs 在通识任务中可以取得较好的 QA 准确率，但仍然较难处理某些类型的知识。(2) ChatGPT 具有常识知识，可以利用知识提示正确生成大部分常识知识。(3) ChatGPT 是一名经验不丰富的常识问题解决者，不能准确地识别回答一个特定问题所需的常识知识，这需要更好的常识引导机制，如遵循指示、更好的常识引导等。

    Mar, 2023

  • MoT: 基于预思考和回忆机制的 ChatGPT 能力自我提升系统

    本文提出了一种名为 MoT 的新型框架，用于让 LLM 通过思考存储到外部记忆中来自我提升，实现推理和回答问题的能力的优化。实验结果表明，所提出的框架可以显著帮助 ChatGPT 在数学推理，常识推理，事实推理和自然语言推理方面提高其能力。

    May, 2023