language modeling | BriefGPT

关键词language modeling

搜索结果 - 355

Sparser 更快且更简洁：用于长程 Transformer 的高效稀疏注意力机制
通过引入 SPARSEK Attention，将自注意机制的计算和内存障碍降到最低，提供线性时间复杂度和恒定的内存占用，实现了更高效的长序列处理和管理。
PDF3 days ago
无监督形态树分词器
通过引入形态结构指导标记，提出了一种深度模型来诱导单词的字符级结构，该方法在形态分割任务和语言建模任务上表现良好，并优于 BPE 和 WordPiece 等广泛采用的方法。
PDF6 days ago
信息引导的正则化用于微调语言模型
传统的预训练 - 微调策略已被视为现代语言建模中的转移学习策略，但需要更具目标敏感性的参数正则化方法以实现更平滑的转移学习。本文通过信息论的角度研究了预训练损失函数在任务敏感参数上的影响，并利用研究结果提出了一种新颖的用于改善模型正则化和下
PDF7 days ago
自蒸馏模型叠加在 200 + 种语言中实现跨语言自然语言理解
通过将 MT 编码器直接集成到 LLM 主干中，我们通过样本高效的自我蒸馏获得了 MT-LLM，从而将低资源语言与以英语为中心的 LLM 中嵌入的丰富知识相结合，实现了跨语言的多语言语言理解。
PDF9 days ago
通过多目标奖励建模和专家混合解释性偏好
通过建立一个具有可解释性的绝对评分多目标奖励模型 (ArmoRM) 和一个自动选择最合适奖励目标的门控网络，我们在大型语言模型对齐领域取得了与 GPT-4 评委相比的最先进表现，并接近更大的 Nemotron-4 340B 奖励模型的性能。
PDF9 days ago
LiLiuM: eBay 的大型语言模型用于电子商务
我们介绍了由 LiLiuM 系列构成的大型语言模型（LLMs）：1B、7B 和 13B 参数模型，这些模型完全由 eBay 内部开发，以适应 eBay 在电子商务领域的特定需求，并实现了对模型许可、数据、词汇表和架构的全部控制，使得它们可以
PDF10 days ago
离散数据的简化和推广掩码扩散
掩蔽扩散模型是生成离散数据的自回归模型的替代选择，本论文提出了一个简单且通用的框架，解锁了掩蔽扩散模型的全部潜力，并在 OpenWebText 数据集上训练的模型在困惑度上超过了 GPT-2 模型，并在 5 个零 - shot 语言建模任务
PDF21 days ago
SpikeLM: 基于弹性双脉冲机制的通用脉冲驱动语言建模
向类似人脑的高能效人工智能迈进，生物启发的脉冲神经网络（SNN）具有生物合理性、事件驱动的稀疏性和二值激活的优势。本文提出了首个全脉冲机制，以处理包括鉴别性和生成性任务在内的一般性语言任务。与现有 SNN 中的二值脉冲不同，我们提出了一种具
PDF22 days ago
ICML一种促进独立性的损失函数用于语言模型生成音乐
介绍了一种应用于音乐生成的语言模型的自动编码器作为标记器的独立性促进损失，通过减少码书之间的统计相关性，提高了生成音乐的质量和速度。
PDF23 days ago
ICML变压器是 SSM：通过结构化状态空间对偶实现的广义模型和高效算法
Transformers 与 state-space models（包括 Mamba）存在相关性，通过结构化半可分矩阵的各种分解，我们开发了一个理论连接的丰富框架，证明了这些模型家族之间的联系。基于我们的 state space duali
PDFa month ago
SeamlessExpressiveLM: 链条思维情感语言模型用于表达性语音到语音翻译
提出了 SeamlessExpressiveLM，一个用于表情化语音到语音翻译的单一语言模型，通过分解复杂的源到目标语音映射为中间生成步骤，并结合思维链引导模型，实现了在西班牙语到英语和匈牙利语到英语翻译中优于级联语言模型的语义质量和风格转
PDFa month ago
上下文位置编码：学会计算重要的东西
提出了一种新的位置编码方法：上下文位置编码 (CoPE)，使得位置可以被上下文条件化，可以实现更一般的位置指定，例如参考第 $i$ 个特定词、名词或句子。该方法能够解决选择性复制、计数和翻转任务，并提高语言建模和编码任务的困惑度。
PDFa month ago
Kotlin ML Pack: 技术报告
我们介绍了三个新的 Kotlin 代码数据集，KStack，KStack-clean 和 KExercises。我们描述了在这些数据上对 CodeLlama 和 DeepSeek 模型的微调结果。我们还展示了人工专家将 HumanEval
PDFa month ago
语言崩溃：（大型）语言模型中的神经崩溃
本文通过实证研究探讨了扩展的因果语言模型（CLMs）的体系结构和训练对其进展向神经坍缩（NC）的影响，发现随着规模的扩大，NC 的特性与泛化之间存在联系，并且即使在规模上无关的情况下，NC 与泛化之间也存在某种关系。因此，本研究强调了 NC
PDFa month ago
从统一视角解开线性复杂度序列模型的秘密
我们提出了线性复杂度序列模型（LCSM），将各种序列建模技术（包括线性注意力、状态空间模型、长卷积和线性 RNN 等）以及展开、振荡和收缩（EOS）三个不同阶段的建模过程融入一个统一的框架中。通过从一个连贯而简化的视角分析每个组成部分的影响
PDFa month ago
状态空间模型的表达能力：形式语言视角
基于线性状态空间模型的循环模型在语言建模方面表现出色，与变压器竞争力强，但对此类模型的原理能力了解甚少，因此我们提出了一项理论研究，比较了这种模型与变压器和传统循环神经网络的能力，发现它们有重叠但有区别的优势。
PDFa month ago
Aya 23: 开放权重发布以促进多语言进展
Aya 23 是一种多语言语言模型，在扩展接近全球人口一半的 23 种语言的同时，通过将更多容量分配给预训练阶段包含的少量语言，Aya 23 在其涵盖的语言上表现较好，超过了 Aya 101 等大规模多语言模型以及 Gemma、Mistra
PDFa month ago
基于参照标记的三维链接语言模型
在本研究中，我们提出了基于 3D 大型多模型（3D LMM）的 Grounded 3D-LLM 模型，在一个统一生成框架中探索了 3D 场景理解的潜力，通过使用场景引用标记作为特殊名词短语来参考 3D 场景，将 3D 视觉任务转化为语言格式
PDFa month ago
朝着更具包容性的人工智能：针对萨米语的大型语言模型训练的进展与展望
该研究致力于解决 S'ami 语言面临的数字边缘化问题，通过采用最新的自然语言处理技术，训练基于超低资源语言的语言模型，并通过多语言训练实验，发现在顺序多语言训练情景下，解码器模型的表现优于联合多语言训练，且高语义重叠的多语言训练比从头训练
PDF2 months ago
编码 - 解码框架实现可控高质量韵律的交互式自由体诗生成
生成诗歌或歌词涉及到几个创作因素，而其中一个具有挑战性的方面是对较严格的韵律和押韵模式的遵循。为了解决这一挑战，之前的工作主要集中在逆向语言建模上，我们提出了一种新的微调方法，通过将押韵的词语放在每个歌词的开头，使关键的押韵决策可以在模型承
PDF2 months ago