Jun, 2016

利用位置上下文和外部存储增强 LexVec 分布式词向量表示模型

PDF
TL;DR本文通过改进正点互信息矩阵的分解方法和应用位置上下文提高了分布式单词表示的句法表现，并解决了 PMMI 矩阵存储需求的问题，实现了在外存上处理聚合数据，并使用词语相似性任务验证了两种改进方法的有效性。
distributed word representationpositive pointwise mutual information matrixpositional contextsexternal memoryword similarity
发现论文，激发创造
  • 使用窗口采样和负采样的矩阵分解来改进词表示

    本文介绍了一种使用低秩、加权的正点互信息矩阵分解以及随机梯度下降法的新方法 LexVec，用于生成分散的词汇表示，并通过单词相似性和类比任务的评估表明，LexVec 在这些任务中与现有技术方法相当甚至超越。

    Jun, 2016

  • 通过分解位置向量探索大型语言模型的上下文窗口

    通过分析位置向量对注意力的形成和影响，我们设计了两种无需训练的上下文窗口扩展方法，即位置向量替换和注意力窗口扩展。实验结果表明，我们的方法可以有效地扩展上下文窗口的长度。

    May, 2024

  • 基于 PMI 矩阵逼近的简单语言模型

    该研究介绍了一种新的学习语言模型的方法，通过训练模型估计词 - 上下文点间互信息（PMI），并通过 PMI 在测试时求出所需的条件概率。

    Jul, 2017

  • 通过缩放单一维度来减轻大型语言模型的位置偏见

    本文研究了大型语言模型中的位置偏见问题，发现注意力权重和因果性注意掩码是位置偏见的微观表现，提出了通过调整位置隐状态来减轻位置偏见的方法，并通过在多个任务上进行实验验证了该方法的有效性和普适性。

    Jun, 2024

  • 通过位置插值扩展大型语言模型的上下文窗口

    本文介绍了一种名为 Position Interpolation 的方法，它扩展了 RoPE-based pretrained LLMs 的上下文窗口大小，可以达到 32768，而且只需要最小限度的微调，同时在需要长上下文的各种任务中（包括密码检索、语言建模和长文档摘要等）展示了强大的实证结果。

    Jun, 2023

  • 深度上下文词表示

    本文介绍了一种新型的深层上下文词表示方法，既能够建模单词用法的复杂特征 (如句法和语义)，又能够建模这些用法在语言上下文中的变化 (即建模多义性)，这些表示可以轻松地添加到现有模型中，并且可以显著提高 NLP 问题的性能。

    Feb, 2018

  • 减少 LLM 中的位置偏倚的定位感知参数高效微调方法

    通过开展广泛的实验证明，我们提出的 Position-Aware Parameter Efficient Fine-Tuning 方法能够减少大型语言模型中的位置偏差，从而提高处理长上下文序列的效果，并改进对需要从外部检索知识的各种任务的表现。

    Apr, 2024

  • PoSE: 通过位置跳跃训练实现 LLMs 的高效上下文窗口扩展

    本文介绍了 Positional Skip-wisE（PoSE）训练方法，用于将大型语言模型（LLMs）高效地适应于极长的上下文窗口。通过在训练过程中使用具有操作位置索引的固定上下文窗口来模拟长输入，PoSE 将训练长度与目标上下文窗口大小分离。实验证明，与在完整长度上进行微调相比，PoSE 大大降低了内存和时间开销，并对性能影响很小。利用这一优势，我们成功将 LLaMA 模型扩展到了 128k 标记。此外，我们在实验中证实了 PoSE 与所有基于 RoPE 的 LLMs 和各种位置插值策略是兼容的。值得注意的是，通过解耦微调长度和目标上下文窗口，PoSE 在理论上可以无限扩展上下文窗口，仅受推理内存使用的限制。随着高效推理技术的不断发展，我们相信 PoSE 在进一步扩展上下文窗口方面具有巨大的潜力。

    Sep, 2023

  • 并行上下文窗口提高大型语言模型的上下文学习能力

    本文提出了一种名为 Parallel Context Windows (PCW) 的方法，可缓解任何现成的 LLM 的上下文窗口限制，该方法通过将长上下文分成适合于模型的块（“窗口”）来限制注意机制的应用范围，并在窗口之间重用位置嵌入。我们在模型的大小范围内测试了 PCW 方法，并为具有不同输入和输出空间的任务展示了实质性的改进。该结果为研究将 Parallel Context Windows 应用于其他需要长文本序列的设置提供了动机。

    Dec, 2022

  • 重访并行上下文窗口：一种令人沮丧的简单替代方法和思维链恶化

    通过评估 Parallel Context Windows (PCW) 的实际应用，我们发现这种基于并行集成模式和语言模型的计算方法存在一些局限性，如缺失有效的基础算法、在复杂的推理任务中效果下降等，建议未来在此方向上进行更多的研究。

    May, 2023