transformer blocks | BriefGPT

关键词transformer blocks

搜索结果 - 17

如何截断权重提高语言模型中的推理能力
大型语言模型在不同语言中生成流利文本的同时，通过去除预训练模型中的特定组件或 Transformer 块中特定权重部分，研究发现可以提高逻辑推理能力，通过分析训练过程和实验数据，探究了这个现象，并在简单的推理任务上测试了性能。
PDFa month ago
用较少的令牌预训练小型基础语言模型
我们研究了使用继承和训练的简单方法来构建小型基础语言模型的有效性，并通过实验证明其在各种设置中的功效。
PDF3 months ago
SLEB: 通过冗余验证与消除优化 Transformer 块的流程化 LLMs
利用 SLEB 方法，通过消除多余的 transformer 块来优化大型语言模型的效率，加速模型的推断过程，同时不损害模型的语言能力。
PDF5 months ago
基于扩散模型的高效图像去模糊网络
该研究介绍了一种滑动窗口模型用于解决散焦去模糊问题，使用扩散模型生成潜在的先验特征来恢复更多细节图像，并将滑动窗口策略扩展到专用的 Transformer 块以提高推理效率。此外，还对 Mac 操作进行了优化，从而降低了计算复杂性，并改善了
PDF6 months ago
LLaMA Pro：带块扩展的渐进 LLaMA
通过扩展 Transformer blocks 的方法，我们提出了一种新的 LLMs 后预训练方法，通过仅使用新的语料库调整扩展块，从而在不造成灾难性遗忘的情况下高效有效地改进模型的知识，实现在各种环境中高效运行的先进语言代理的开发。
PDF6 months ago
语言模型中的冰冻 Transformer 是有效的视觉编码层
利用大型语言模型进行视觉任务，通过冻结预训练的语言模型的转换器块作为视觉令牌的编码器层，能够显著改善计算机视觉任务的性能，并提出信息过滤假设来解释预训练语言模型在视觉编码中的有效性。
PDF8 months ago
ICCV特征调制变换器：通过高频先验交叉精炼全局表示用于图像超分辨率
我们研究了基于 transformer 的单图像超分辨率方法，并发现 transformer 结构在捕捉低频信息方面更加擅长，但相较于卷积模型在构建高频表示方面容量有限。我们提出的 CRAFT 方法综合了卷积和 transformer 结构
PDFa year ago
通过 3D 暹罗网络改进文本语义相似性建模
我们提出了一种新颖的 3D 孪生网络模型，用于文本语义相似性建模，通过将语义信息映射到高维空间，保留了更精确的空间和特征领域信息，并为综合下游建模策略提供了必要的结构条件。通过引入多个模块来增强这一 3D 框架，包括特征提取、注意力和特征融
PDFa year ago
基于大规模未标注数据预训练的基础模型用于三维医学图像分割
本研究提出了一种名为 Volume Fusion (VF) 的自监督学习策略，结合多个随机补丁，采用预定义的融合系数融合前景子卷和背景子卷，无需手动注释地预训练 3D CT 体数据的分割模型，结果表明该方法表现优于其他基于自监督训练和分割模
PDFa year ago
弱监督语义分割的遮盖式协同对比
本文介绍了一种有效的方法 Masked Collaborative Contrast（MCC），以突出弱监督语义分割中的语义区域。MCC 巧妙地将掩蔽图像建模和对比学习的概念结合起来，设计了可诱导关键字收缩到语义相关区域的 Transfor
PDFa year ago
基于主题的非对比自监督学习用于 ECG 信号处理
介绍了一种新的自监督学习方法和使用 transformer blocks 的模型，能够提取 ECG 信号并捕获不同的睡眠阶段和不同心律失常。
PDFa year ago
基于分层可扩展查询的融合 Transformer 增强分类
本文提出了一种通过层次化方法和可学习的独立查询嵌入来提高细粒度分类的方法，结合转换块对特征图的不同尺度进行融合，使用 CAMP 模块帮助减少误差传播，与现有方法相比，精度提高了约 11%。
PDFa year ago
ECCV基于粗细磨合精化的高效对应关系寻找
本文提出了一种名为 Efficient Correspondence Transformer (ECO-TR) 的高效对应变换器，通过一个由多个 transformer blocks 组成的网络，以从粗到细的方式找到对应关系，并提出了一种自
PDF2 years ago
CVPR老电影复兴计划
本文提出了一种学习框架 —— 循环 Transformer 网络 (RTN)，用于修复破损的旧电影。该方法基于从旁边的帧中学习到的隐藏知识来进行恢复，能够有效推断划痕位置，同时保证时间连续性，利用更强大的 Transformer 块进行空间
PDF2 years ago
DACT-BERT: 适应性可微分计算时间的高效 BERT 推理
本文提出了 DACT-BERT，一种用于增加自然语言处理的计算效率的自适应计算时间策略，该策略通过控制 Transformer block 的数量来改善 BERT 模型的计算效率。实验结果表明，相较于基线模型，DACT-BERT 在减少计算
PDF3 years ago
拓宽广度而非纵深
本文提出了一种宽架构、混合专家 (MoE) 替代前馈神经网络 (FFN) 的参数高效框架，通过参数共享以压缩深度，并使用独立的 layernorms 来转换各种语义表示，实验结果在多个计算机视觉和自然语言处理基准测试中表现优异，最佳模型能以
PDF3 years ago
基于瓶颈结构的 Transformer 用于视觉识别
BoTNet 是一种基于自注意力机制的视觉模型，可以应用于图像分类、目标检测和实例分割，通过在 ResNet 的最后三个 bottleneck 块中使用自注意力代替空间卷积，能够大幅提高实例分割和目标检测的性能，同时减少参数量和计算开销。B
PDF3 years ago