transformer-based large language models | BriefGPT

关键词transformer-based large language models

搜索结果 - 31

内上下文格式：大型语言模型的快速压缩上下文
通过使用 In-Context Former 方法，我们成功减少了基于 Transformer 的大型语言模型的压缩成本，并使得实时压缩的场景成为可能。
PDF13 days ago
探索 Transformer 潜空间几何对下游任务性能的影响
我们提出了一个新的方法，通过研究 BERT 类型模型的潜在空间的几何特征，来探索预训练对 GLUE 基准任务表现的影响，并发现潜在空间的量化细胞密度与 GLUE 性能有着强烈的线性关系，这些结果表明可以减少预训练要求，通过模型潜在空间的几何
PDF14 days ago
循环上下文压缩：高效扩大 LLM 的上下文窗口
使用递归上下文压缩方法（RCC）有效地扩展了基于 Transformer 的大型语言模型 (LLMs) 的上下文窗口长度，解决了模型回应质量变差的问题，并以接近 0.95 的 BLEU4 得分在文本重建任务中实现了高达 32 倍的压缩率，以
PDF22 days ago
通过分解位置向量探索大型语言模型的上下文窗口
通过分析位置向量对注意力的形成和影响，我们设计了两种无需训练的上下文窗口扩展方法，即位置向量替换和注意力窗口扩展。实验结果表明，我们的方法可以有效地扩展上下文窗口的长度。
PDFa month ago
HMT：用于长文本语言处理的分层记忆变形器
通过模仿人脑记忆层次结构，我们提出了分层记忆 Transformer（HMT）框架，以提高模型的长上下文处理能力，并通过在限定上下文和长上下文模型上的评估验证了其有效性。
PDF2 months ago
高效经济的大型语言模型推理与注意力卸载
通过引入关注点卸载的概念，将昂贵的计算优化加速器与便宜的内存优化设备相结合，以提高大型语言模型的效率和成本效益。我们开发了 Lamina 推理系统，实验证明，相较于同质解决方案，Lamina 可以提供每美元 1.48 倍至 12.1 倍的更
PDF2 months ago
预打包：大语言模型快速预填和增加吞吐量的简单方法
使用 Prepacking 方法优化 transformer-based 大型语言模型的 prefilling 计算，通过将不同长度的输入 prompt 组合成一个序列，并使用 bin-packing 算法将多个序列打包成一个紧凑的批次，从
PDF3 months ago
高效的无限上下问 Transformer 与无限注意力
该研究介绍了一种有效的方法，用于将基于 Transformer 的大型语言模型扩展到无限长的输入，同时保证有界的内存和计算。我们提出的方法的关键组成部分是一种称为 Infini-attention 的新的注意力技术，它将压缩性记忆融入到传统
PDF3 months ago
AAAI插入并玩：一种控制文本生成的提示调整方法
利用小型语言模型进行 Prompt 调整，使用提示嵌入对生成文本进行控制，验证其在情感分析、正式度和有害语言领域的有效性。
PDF3 months ago
基于提示 - 提示的专家混合模型进行高效 LLM 生成
GRIFFIN 是一种在不同非 ReLU 激活函数的大规模语言模型 (LLMs) 中选择唯一的前馈 (FE) 专家以实现高效生成的新型无需训练的 MoE 方法。
PDF3 months ago
DeFT: 带有 IO 感知的快速树注意力的树搜索型 LLM 推理
通过树搜索解码，DeFT 提出了一种基于 IO 的树注意力算法，实现了内存高效的注意力计算，加速了端到端推理任务的运行速度。
PDF3 months ago
语言模型能够模拟求解器吗？使用 LLMs 进行逻辑代码仿真
基于 Transformer 的大型语言模型（LLMs）在解决逻辑问题方面展现了显著的潜力，该研究调查了一种新颖的方向，即逻辑代码模拟，并引入了基于 LLMs 的代码模拟技术 DCoL，该技术相比其他 LLM 提示策略表现出最先进的性能，通
PDF3 months ago
非线性变压器的高效上下文学习训练：理论学习和泛化分析
通过理论分析，我们首次探讨了具有非线性自注意力和非线性 MLP 的 Transformer 模型的训练动态和 ICL 泛化能力，重点关注一组二分类任务，研究了各种因素对 ICL 泛化性能的影响，探讨了不同组件对 ICL 性能的贡献，并首次理
PDF4 months ago
总结事实：LLMs 中事实回忆的叠加机制
基于 Transformer 的大型语言模型（LLMs）如何存储和检索知识？我们关注了这个任务的最基本形式 —— 事实召回，其中模型被要求在形如 “事实：斗兽场位于国家” 的提示中明确地呈现存储的事实。我们发现，基于事实召回的机制比之前认为
PDF5 months ago
Hydragen：具有共享前缀的高吞吐量 LLM 推理
基于转换器的大型语言模型现已应用于数亿用户。本文提出了 Hydragen，一种有硬件感知的精确关注力实现，它对共享前缀和唯一后缀分别计算注意力。该方法可以提高最多 32 倍的端到端语言模型吞吐量，并能使用非常长的共享上下文。
PDF5 months ago
FlightLLM: 基于 FPGA 的高效大型语言模型推断及其完整映射流程
该研究论文提出了一种基于 FPGA 的 FlightLLM 方法，通过利用 FPGA 特定资源和创新解决方案，实现了大规模语言模型（LLMs）的高效推理，包括压缩技术、计算效率、内存带宽和编译开销等方面的优化。在实验中，该方法在 Xilin
PDF6 months ago
其中隐藏真理：使用层选择性排名降低改善语言模型的推理能力
通过选择性删除大型语言模型（LLMs）的高阶权重矩阵组成部分，可以显著提高其性能，称为 LASER（LAyer-SElective Rank reduction）方法。该方法在训练完成后对模型进行简单介入，不需要额外的参数或数据，并通过广泛
PDF6 months ago
AgentCoder: 基于多智能体的代码生成与迭代测试优化
介绍了一种名为 Multi-Agent Assistant Code Generation（AgentCoder）的新方法，它使用专门的程序员代理、测试设计师代理和测试执行代理来协同生成代码，解决了代码生成和测试用例生成之间的平衡问题，并在
PDF6 months ago
通过语义压缩扩展大型语言模型的上下文窗口
提出了一种新颖的语义压缩方法，使得基于 Transformer 的大型语言模型（LLM）能够适用于长度为原先的 6-8 倍的文本，而无需进行显著的计算开销或需要微调。该方法通过信息论中的源编码概念和使用预训练模型，减少长输入的语义冗余后再传
PDF7 months ago
Confidant: 基于协作边缘训练的定制 Transformer 语言模型
为了在手机等无线设备上进行自定义最先进的语言模型（LLM）的训练，我们提出了 Confidant，这是一个多后端协同训练框架。Confidant 将 LLM 划分为几个子模型，以适应手机设备的内存，同时开发了一个管道并行训练机制以确保快速和
PDF7 months ago