language modeling | BriefGPT

关键词language modeling

搜索结果 - 355

EMNLP子空间编年史：语言信息在语言模型训练中的产生、转变和交互
利用信息论探测套件，我们分析了 9 项任务，涵盖语法、语义和推理，在 2 百万次预训练步骤和 5 个种子中，识别了关键学习阶段，语法知识在全面训练的 0.5% 后迅速获得，持续性能改善主要来自对开放域知识的获取，而语义和推理任务则受益于后期
PDF8 months ago
EMNLP神经网络中的特征提取机制揭示
我们提出了一种基于神经切向核函数（NTKs）的理论方法来研究神经网络在捕捉精确知识方面的潜在机制，并发现激活函数的选择会影响特征提取，此外我们还发现自注意力模型和 CNN 模型在学习 n 元语法方面的局限性，而基于乘法的模型则在该领域表现出
PDF8 months ago
FLTrojan: 通过选择性重量篡改对联邦语言模型进行的隐私泄漏攻击
我们介绍了关于从联邦语言模型中泄露隐私敏感用户数据的两个新发现：一是中间轮次的模型快照可能引起比最终训练模型更严重的隐私泄露，二是通过篡改模型的选择权重，可以加剧隐私泄露，并显示了恶意客户端如何在联邦学习中泄露某个其他用户的隐私敏感数据，甚
PDF8 months ago
EMNLPQUDEVAL: 问题讨论话语解析的评估
在本文中，我们介绍了第一个自动评估 QUD 解析的框架，将 QUD 的理论约束转化为具体的协议。我们提出了 QUDeval，一个细粒度评估的 QUD 问题数据集，其中包含来自经过微调的系统和 LLMs 生成的 2,190 个 QUD 问题。
PDF8 months ago
中文字符级背包语言模型
通过对字符分割的中文进行训练、评估、解释和控制，我们发现我们的（134M 参数）中文 Backpack 语言模型在性能上与（104M 参数）Transformer 相当，并且学习到了丰富的字符级意义，通过对数相加形成词汇的意义。在 SimL
PDF8 months ago
EMNLP面向语音单元和文本的联合语言建模
探索联合的语言建模方法，比较不同语音分词方法和语音 - 文本混合数据构建方法，通过自动指标评估联合语言模型的混合效果，在不同模态下对下游口语理解任务进行微调并测试其性能，结果表明通过混合我们提出的语音单元和文本的方法，联合语言模型在口语理解
PDF9 months ago
有声书的韵律分析
对书籍和有声书之间的 93 对数据集进行处理，从叙述性文本中使用语言建模预测出更好刻画人类有声阅读的语调、音量和说话速度的模型，通过与商业 TTS 系统的结果进行对比，发现预测的音调与人类朗读的相关性更高，并且预测的音量属性与人类朗读更为相
PDF9 months ago
化学与药物发现中的 Transformer 和大型语言模型
利用自然语言与化学的类比，本文探索了利用 Transformers 处理药物发现过程中的重要障碍，如后合成规划和化学空间探索，并展示了大型语言模型在化学领域解决通用任务的潜力。
PDF9 months ago
RECOMP: 通过压缩和选择性增强改进基于检索的语言模型
将检索到的文档压缩为文本摘要，以降低计算成本并减轻语言模型的负担，以提高任务性能；在语言建模和开放域问题回答任务中，以最低为 6% 的压缩率实现性能上最小损失，并在给定一种语言模型训练方法时能够迁移到其他语言模型，并提供与检索文档基本一致的
PDF9 months ago
零资源混合语言音频基准测试：使用语音句对进行多种口语语言测试
我们介绍了一个新的零资源代码切换语音基准，旨在直接评估自我监督语音编码器的代码切换能力。我们展示了一个以离散单元上的语言建模为基线系统，以演示如何以零资源的方式评估语音编码器的代码切换能力。我们的实验包括多种知名的语音编码器，包括 Wav2
PDF9 months ago
基于知识蒸馏的异构联邦学习
通过使用双向知识蒸馏方法，在具有不同性能的一部分客户端上训练较大的模型和整体池上训练较小的模型，实现不同领域之间的模型域转移，从而提高联邦平均算法的性能。该方法在图像分类和语言建模任务中表现出改进的效果，即使只有领域外或领域内有限的蒸馏数据
PDF9 months ago
近无限背景下的分块 Transformer 环形注意力
传统的 Transformer 架构由于内存需求限制了其处理长序列的能力，而我们提出的 Ring Attention 方法通过分块计算自注意力和重叠通信的方式，提高了内存利用效率，允许处理更长的输入序列，从而消除了设备内存的限制，同时在语言
PDF9 months ago
语言模型解码作为直接度量优化
通过在语言模型中引入优化问题的框架，我们提出了一种新的解码分布，该分布通过序列级能量函数定义多个度量标准来改善与人类文本的语义一致性，实验证明我们的方法在与人类文本的度量标准一致性和人类评估方面优于强基准模型。
PDF9 months ago
解锁偏差检测：利用基于 Transformer 模型的内容分析
通过联合使用 Context Transformer 和 Entity Transformer，我们提出了一种新的 Contextualized Bi-Directional Dual Transformer（CBDT）分类器，用于检测文本
PDF9 months ago
ICCVMotionLM: 多智能体运动预测作为语言建模
可靠地预测道路行为是自动驾驶车辆安全规划的关键组成部分。本研究将连续轨迹表示为离散运动令牌序列，并将多智能体运动预测视为一个语言建模任务。我们的模型 MotionLM 具有多个优势：首先，它不需要锚点或明确的潜在变量优化来学习多模态分布；其
PDF9 months ago
基础模型的长文本推理能力优化
我们介绍了一系列支持高达 32,768 个令牌的有效上下文窗口的长上下文 LLMs。通过从 Llama 2 开始的持续预训练，我们的模型系列是在更长的训练序列和上采样长文本的数据集上构建的。我们在语言模型、合成上下文探索任务以及广泛的研究基
PDF9 months ago
大型语言模型的图神经启动
提出了图神经传递（GNP）方法，通过利用知识图谱，辅助预训练大型语言模型（LLMs）学习有益的知识，具有在常识和生物医学推理任务中的优越性能。
PDF9 months ago
RCMHA: 相对卷积多头注意力用于自然语言建模
在语言建模中，通过利用相对位置编码与深度卷积层架构相结合的改进 MHA 模块，提高准确性并减少内存使用，该模块在实证实验中展现了超越其他注意力模块的优势。
PDFa year ago
FlashAttention-2：更快的注意力计算，更好的并行和工作分割
使用 FlashAttention 和 FlashAttention-2 算法来提高模型的效率
PDFa year ago
ICML变压器是通用预测器
本研究发现了 Transformer 架构在语言模型方面的局限性，证明了它在信息理论意义上具有普适预测性，并在非渐近数据区域中分析了各种 Transformer 架构组件的性能，尤其是在数据有效训练的情境中。我们通过对合成和真实数据集的实验
PDFa year ago