Apr, 2024

减少 LLM 中的位置偏倚的定位感知参数高效微调方法

PDF
TL;DR通过开展广泛的实验证明，我们提出的 Position-Aware Parameter Efficient Fine-Tuning 方法能够减少大型语言模型中的位置偏差，从而提高处理长上下文序列的效果，并改进对需要从外部检索知识的各种任务的表现。
large language modelspositional biasllm positional biasposition-aware parameter efficient fine-tuninglong context sequences
发现论文，激发创造
  • 通过缩放单一维度来减轻大型语言模型的位置偏见

    本文研究了大型语言模型中的位置偏见问题，发现注意力权重和因果性注意掩码是位置偏见的微观表现，提出了通过调整位置隐状态来减轻位置偏见的方法，并通过在多个任务上进行实验验证了该方法的有效性和普适性。

    Jun, 2024

  • 面向更高参数效率的大语言模型微调：一篇立场论文

    该研究论文从参数高效微调（PEFT）对大语言模型（LLMs）的迫切需求出发，强调了当前状态和进一步研究该主题的必要性，以及需要解决的重要挑战和开放问题，包括创新 PEFT 架构、不同学习设置的 PEFT、结合模型压缩技术的 PEFT 以及多模态 LLMs 的 PEFT 探索。通过提出该立场论文，我们旨在激发进一步的研究，并促进围绕 LLMs 的更高效和可访问的 PEFT 的讨论。

    Nov, 2023

  • 消除语言模型的位置偏见：一种机制化方法

    通过消除输入段落顺序的不同，我们的方法改变了因果注意力，使其变为段落之间的双向关注，并利用模型关注值来决定段落的相对顺序，从而实现了段落级的位置不变推理（PINE），消除位置偏差使得模型在广泛存在位置偏差的下游任务中获得更好的性能和可靠性。

    Jul, 2024

  • 位于中间：通过即插即用位置编码，语言模型更好地使用长上下文

    本文介绍了一种名为多尺度位置编码（Ms-PoE）的简单而有效的插件式方法，用于增强大型语言模型（LLMs）处理位于上下文中部的相关信息的能力，并通过广泛的实验证明了该方法的有效性。

    Mar, 2024

  • 长期对话中的因果知觉位置去偏微调

    我们提出了一种名为 CPD 的新方法，它利用基于干扰的因果变量发现方法从对话历史中提取因果相关的话语，并在微调过程中增强模型的因果感知能力，以解决大型语言模型在长期对话中生成无关紧要和通用回应的固有位置偏倚问题。在两个数据集上的实验结果证明，我们的方法可以有效减轻多个大型语言模型的位置偏倚，并与现有基线相比取得显著进展。

    Jun, 2024

  • 位于中间：校准位置注意偏差以改进长上下文利用

    长文本中，大语言模型存在失效过中间信息的问题，我们通过研究发现这一现象与其内在的注意力偏差有关，而通过中间定位机制可以解决这一问题，并在检索增强生成任务中表现出更好的性能。

    Jun, 2024

  • PAFT：一种用于有效的 LLM 微调的并行训练范式

    利用新的并行训练范式，这篇论文介绍了 PAFT，它独立对大语言模型进行 SFT 和偏好对齐，并通过参数融合将它们合并成一个用于下游应用的最终模型，提高了模型的性能。

    Jun, 2024

  • 利用大型语言模型进行代码生成的参数高效微调技术探究

    通过对大规模语言模型进行参数高效微调技术的研究，本文在自动化代码生成场景下全面研究了这些技术对大规模语言模型的影响，实验结果表明这些技术在减轻计算负担和提高性能方面表现优越，为软件工程场景中的更广泛应用开启了机会。

    Aug, 2023

  • Q-PEFT：大型语言模型中用于文本重新排序的查询相关参数高效微调

    通过引入查询依赖的参数高效微调方法，本文提出了一种文本重新排序的方法，通过泄漏真实查询信息给大型语言模型以使其更容易从输入文档中生成真实查询，从而进一步提高重新排序性能。

    Apr, 2024

  • 扩展 LLMs 上下文窗口至 100 个样本

    本研究介绍了一种新颖的 RoPE 扩展方法，通过调整 RoPE 的基础频率和缩放注意力 logits，帮助 LLMs 高效适应更大的上下文窗口，并验证了这种方法在微调性能和稳健性方面的优越性。

    Jan, 2024