May, 2023

优秀的记忆力：使用自回归语言模型进行加密

PDF
TL;DR本文提出了第一个具有自回归语言模型的对称加密算法（SELM），证明了自回归模型可以通过随机子空间优化和贪婪解码将任意数据编码为紧凑的实数向量（即加密），然后无损地解码向量以获取原始信息（即解密）。同时，本文通过一种新的经验方法研究了 SEL​​M 的安全性，并提供了代码和数据集。
neural language modelsover-parameterizationencryptioncryptanalysisind-cpa
发现论文，激发创造
  • 半参数语言模型是可扩展的持续学习者

    本文提出了一种名为 Selective Memorization 的方法来提高半参数语言模型在不断学习流数据时的可伸缩性，该方法只记忆模型难以处理的样本。实验表明，Selective Memorization 能够实现半参数语言模型的可扩展、持续学习，并减少遗忘。

    Mar, 2023

  • 我们是否应该使用检索方法预训练自回归语言模型？一项全面研究

    通过引入检索机制可以提高大型解码器语言模型的困惑度和生成质量，本文提出了一种可扩展的预训练检索增强语言模型，它在实验证明了在知识密集型任务上优于标准 GPT，未来这可能是预训练自回归 LM 的有前途的方向。

    Apr, 2023

  • 自动生成巨大，快速生成：快速自回归解码的 LLM-to-SLM

    我们提出了一种混合方法，结合不同规模的语言模型以提高自回归解码的效率，同时保持高性能。该方法利用一个预先训练的冻结语言模型来编码所有提示标记，然后使用生成的表示来引导一个较小的语言模型来更高效地生成响应。与 LLM 相比，我们的方法在翻译和摘要任务中实现了高达 4 倍的速度提升，但只有 1-2% 的性能损失。

    Feb, 2024

  • 通用大型语言模型中的记忆化

    大型语言模型在记忆方面的挑战和机会，包括隐私、安全、版权等问题，并提出目前的研究方向。

    Oct, 2023

  • 一种具有概率掩码的语言模型，能够按任意字序进行自回归生成

    本文提出了一种基于掩模模型的概率掩模方案（PMLM），它支持按任意顺序生成文本，并在下游自然语言理解任务上超越了 BERT。

    Apr, 2020

  • 神经语言模型记忆能力量化

    这篇研究论文描述了大语言模型 (LMs) 如何通过增加模型容量、重复数据示例次数以及提示模型的上下文数量等因素持续增长来记忆其训练数据的程度。然而，该记忆过程会导致隐私泄露、降低数据质量并且存在不公平性问题，因此有减轻该问题的必要，尤其随着模型的规模持续增长，需要采取积极的对策。

    Feb, 2022

  • MEMORYLLM: 迈向自我可更新的大型语言模型

    MEMORYLLM 是一个自我更新且具有信息记忆能力的模型，它通过在 transformer 的潜在空间中引入固定大小的内存池，能够有效地整合新知识并保持长期信息记录能力，同时维持操作性完整性。

    Feb, 2024

  • 使用 ReLM 验证大型语言模型

    本文介绍了用标准正则表达式验证和查询 LLMs 的 ReLM 系统，其结果表明 ReLM 的最高系统效率是现有方法的 15 倍，数据效率是现有方法的 2.5 倍，并且具有竞争力和较高的统计学和提示调整覆盖率。

    Nov, 2022

  • 利用语音识别能力激发大型语言模型

    通过直接添加小型音频编码器，扩展大型语言模型的能力，实现与其文本版本相同的自动语音识别系统，并在 Multilingual LibriSpeech 上的实验证明，即使在 LLM 被冻结或者音频编码器使用几乎 1 秒的步幅生成更少嵌入时，多语种 ASR 仍然可行，从而为 LLMs 在长篇音频中进行操作开辟了可能性。

    Jul, 2023

  • ELMER: 一种高效且有效的文本生成的非自回归预训练语言模型

    研究了采用预训练语言模型 (PLMs) 方法的文本生成任务，提出了一种用于 NAR 文本生成的有效 PLM（ELMER），它可以显式地建模 NAR 生成中的标记依赖。ELMER 可根据预测置信度在不同层产生标记，从而实现优化并快速的生成，在三个文本生成任务中取得优异的表现，同时达到了 10 倍的推理加速。

    Oct, 2022