EMNLPOct, 2023

G-SPEED：通用稀疏高效编辑模型

PDF
TL;DR通过单一模型实现多样化编辑需求并保持低计算成本，我们提出了 G-SPEED（General Sparse Efficient Editing Model），其中包括一种新颖的无监督文本编辑数据聚类算法和一种稀疏编辑模型架构，实验证明 G-SPEED 可以超越拥有 175B 参数的 LLMs。
large language modelsg-speededitingunsupervised text editing data clustering algorithmsparse editing model architecture
发现论文，激发创造
  • 利用大型语言模型预测编辑操作来减少序列长度

    本文提出一种通过预测编辑操作集合来实现本地序列转导任务的方法，并使用指令调整来对大型语言模型进行监督学习，实验证明该方法在常见任务中具备与基线模型相当的性能，同时可将目标文本长度缩小 21%。

    May, 2023

  • 知识图谱增强的大型语言模型编辑

    利用知识图谱提升大型语言模型的编辑能力，通过图结构反映编辑过程中的关联知识变化，有效改善后编辑语言模型在处理编辑知识时的泛化能力。

    Feb, 2024

  • 大型语言模型是否能编辑？评估其按照编程编辑指令的能力

    通过一个仔细设计的代码编辑任务基准以及结合自然语言指令的训练集，我们评估了几个最先进的大型语言模型，并揭示了现有开源和闭源模型之间的显著差距。同时，我们展示了通过精细调优开源代码语言模型可以显著提高其代码编辑能力。

    Dec, 2023

  • 生成遇见验证：智能并行自动校正解码加速大型语言模型推理

    本研究旨在加快具有数十亿参数的大型语言模型的推理速度。我们提出了一个名为 SPACE（Smart Parallel Auto-Correct decoding）的创新方法，用于实现 LLMs 的无损加速。通过集成半自回归推理和猜测解码功能，SPACE 使得自回归 LLMs 能够并行生成和验证令牌。此外，一种自动纠正解码算法在单个模型调用中便利地实现了令牌序列的同时生成和验证。通过对多个 LLMs 进行广泛实验，SPACE 在保持输出质量的同时，实现了 2.7 倍至 4.0 倍的推理加速。

    Feb, 2024

  • 大和小语言模型协同解码的经验研究

    利用 Fast and Slow Generating（FS-GEN）统一框架，研究了大型语言模型（LLMs）与小型语言模型（SLMs）之间的协同解码，包括投机解码、对比解码和仿真或代理微调等技术，并通过 FS-GEN 解析了 LLMs 和 SLMs 之间的不同知识能力，揭示了协同交互的比例需求和基于不确定性的有效合作位置。

    Jun, 2024

  • 大规模语言模型的鲁棒可扩展模型编辑

    利用 EREN（通过阅读笔记编辑模型）提出方法来提高大型语言模型的可伸缩性和鲁棒性，通过正确响应语法相似但语义无关的输入以及从多个修改中整合知识，优于现有技术。

    Mar, 2024

  • 大规模语言模型的元学习编辑

    使用 MAssive Language Model Editing Network (MALMEN) 方法，以超网络生成参数移位来校正大型语言模型中的知识误差和过时问题。该方法可同时编辑多个事实，并比特定于 GPT 的编辑器在知识密集型 NLP 任务上表现更佳。

    Nov, 2023

  • GraphEdit: 大规模语言模型用于图结构学习

    通过使用大型语言模型来学习图结构数据中的复杂节点关系，GraphEdit 方法无论在去噪连接还是从全局角度识别节点依赖方面都提供了全面的图结构理解，有效克服了显式图结构信息的局限性，增强了图结构学习的可靠性。

    Feb, 2024

  • 模型编辑可能损害大型语言模型的普适能力

    通过对两个大型语言模型在八个代表性任务类别上评估四种常用的编辑方法进行广泛实证研究后，我们发现模型的编辑能够提高模型的事实性，但会显著损害模型的通用能力，因此我们呼吁更多的研究努力来最小化在大语言模型预训练期间获得的通用能力的损失，并在模型编辑过程中最终保留它们。

    Jan, 2024

  • 大型语言模型编辑：问题、方法和机遇

    本研究旨在探讨大型语言模型的编辑问题，提出当前最先进的编辑方法并构建了一个新的基准数据集进行实证分析，从而为研究社区在选择适用于特定任务或上下文的最合适的方法时提供有价值的见解。

    May, 2023