transformer language models | BriefGPT

关键词transformer language models

搜索结果 - 49

对 Transformer 语言模型的层间通信的理解
通过分析 Transformer 语言模型中的机制，研究揭示了其通过低秩通信信道在不同层之间传递和存储特征的方式，通过分解注意力头权重矩阵进而预测层间相互作用的方法，以及利用该机制改善内部模型表示和权重来提升任务性能的结构学习，为进一步分析
PDF21 days ago
变形金刚对政府了解多少？
该论文研究了语言特征和自然语言结构的编码在 Transformer 语言模型中可以获得的洞察力，特别是探讨了 BERT 如何编码句子中成分之间的关系。我们使用多个探测分类器和两种形态丰富的语言数据进行实验，结果表明，Transformer
PDF2 months ago
线性成本推理变压器的跨体系结构迁移学习
通过改变自注意块的设计以实现线性成本推理（LCI），提出了交叉架构迁移学习（XATL）来减少训练时间，并在相同的计算预算内收敛到更好的最小值和 2.6% 更强的模型性能。
PDF3 months ago
科学文章句级嵌入的分类与聚类：对比学习生成
使用对比学习来微调句子 Transformer 模型，生成科学文章中的句子级嵌入，并将其用于科学文章中的句子分类任务，取得了显著的改进。
PDF3 months ago
Transformer 中的推理：减轻伪相关性和推理捷径
用已知有误导性关联的数据集，在逻辑推理任务中训练两种模型：基于证明的生成式 Transformer 模型 WP-BART 和神经符号模型 SIP-BART。结果发现，SIP-BART 能够避免逻辑推理的捷径，而 WP-BART 无法。对于
PDF4 months ago
变压器语言模型在算法学习上的限制
我们分析了 Transformer 语言模型在学习离散算法方面的能力，通过引入两个需要组合多个离散子任务的新任务，我们在从头开始训练 LLaMA 模型以及 GPT-4 和 Gemini 上引导训练时，度量了学习的基本组合。我们观察到，最先进
PDF5 months ago
可观察传播：揭示变压器中特征向量的高效数据方法
本文介绍了一种称为 “ObservablePropagation” 的新方法，用于在计算给定任务时找到变压器语言模型使用的线性特征，具有很少的数据，结果表明 ObservablePropagation 在低数据范围内优于传统方法，可以更好地
PDF6 months ago
在线语言模型交互的压缩上下文记忆
本文提出一种在在线场景（如 ChatGPT）中用于 Transformer 语言模型的新型上下文压缩方法，将不断扩展的上下文压缩到紧凑的记忆空间中，并通过轻量级条件 LoRA 在推理过程中实现对压缩上下文记忆的操作，从而减小内存和注意力操作
PDF7 months ago
在大型语言模型中识别线性关系概念
用于在 Transformer 语言模型的给定隐藏层中找到对应于可解释的人类概念的概念方向的线性关系概念技术（LRC）通过首先将主体和客体之间的关系建模为线性关系嵌入（LRE），并在倒转 LRE 同时使用较早的客体层，从而找到既可以作为分类
PDF8 months ago
EMNLP推递层：在变形金刚语言模型中编码递归结构
递归是人类语言的一项突出特征，由于缺乏明确的递归状态跟踪机制，对自我关注来说是一项根本性的挑战。本研究引入了推入式层，这是一种新的自我关注层，通过跟踪已观察前缀的增量解析中每个令牌的估计深度，模拟了递归状态。使用推入式层的 Transfor
PDF8 months ago
EMNLP当语言模型坠入爱河：Transformer 语言模型中的动物处理
Animacy is a crucial aspect of cognitive processing and language, impacting memory, vision, and language comprehension;
PDF8 months ago
EMNLP转换器语言模型中的合理性处理：关注 GPT 中 Attention Heads 的作用
本文旨在探索 Transformer 语言模型如何处理语义知识，尤其是名词 - 动词关系的合理性。首先，作者证明了 GPT2 在合理性处理方面与人类相比具有更高的相似度；其次，作者深入研究了 GPT2 中合理性知识如何体现在注意力头中，以及
PDF8 months ago
EMNLP压缩转换器语言模型的任务无关蒸馏方法的比较分析
通过多项实验研究，我们发现基于 MiniLMv2 的 Multi-Head Attention 转移是蒸馏中更优选的方法，并解释了其成功的可能原因。此外，我们还发现基于 Hidden State 转移的方法在精妙的层映射策略下依然是竞争性的
PDF9 months ago
俄语的预训练 Transformer 语言模型系列
该论文介绍了一组 13 个基于编码器（ruBERT、ruRoBERTa、ruELECTRA）、解码器（ruGPT-3）和编码器 - 解码器（ruT5、FRED-T5）模型构建的俄语 Transformer 语言模型。通过预训练和发布这些专用
PDF9 months ago
LinkTransformer：用 Transformer 语言模型进行记录链接的统一封装
将 Transformer 语言模型与直观的 API 结合起来，LinkTransformer 旨在使那些对深度学习框架不太熟悉的人也能够享受 LLMs 的好处。
PDF10 months ago
分析 Transformer 动力学作为嵌入空间中的移动
Transformer language models are explored to understand their mechanics, revealing that intelligent behaviors are mapped
PDF10 months ago
Transformer 语言模型中的关系解码的线性性
基于 transformer 语言模型的研究中，发现存在一种简单而可解释的、但在各种情况下应用不一的知识表示策略，其主要通过关系、线性变换以及预测表达出来。
PDFa year ago
自我蒸馏量化：在基于 Transformer 的语言模型中实现高压缩率
通过后训练量化和量化意识训练来研究 Transformer 语言模型的概括化效果。提出了一种称为自身蒸馏量化（SDQ）的方法，该方法最小化积累的量化误差，并优于基线。将 SDQ 应用于多语言模型 XLM-R-Base 和 InfoXLM-B
PDFa year ago
不同方式叠加更多层：通过低秩更新进行高秩训练
本文探讨了低秩训练技术作为训练大型神经网络的替代方法，介绍了一种名为 ReLoRA 的新方法，并将其应用于多达 350M 参数的预训练 transformer 语言模型的训练，并证明了与常规神经网络训练相当的性能。与此同时，我们发现 ReL
PDFa year ago
ACL香草 Transformer 中的分层结构理解
本文研究了神经序列和转换语言模型的层次结构泛化能力，发现通过长时间训练，模型能够学习到层次结构的一般性，对模型深度的分析证明浅层和深层不如中等深度的模型性能优秀。此发现证实了香草珂朵莉模型能够发现和使用自然语言中的层次结构。
PDFa year ago