model depth | BriefGPT - AI 论文速递

关键词model depth

搜索结果 - 7

利用 CKA 和经验方法优化远程光电测量体系结构
基于中心核对齐（CKA）方法，研究了不同深度的远程光电测量 (rPPG) 模型，发现较浅的模型无法学习到与更深模型相同的表示，另外在一定深度后，冗余层的增加对功能并没有明显提升。经验性研究证实了这些发现，并展示了如何利用该方法来优化 rPP
PDF6 months ago
EMNLP多路径变换器更好：神经机器翻译的案例研究
本文研究了通过参数效率的多路径结构，如何影响变压器 (Transformer) 模型，并通过 12 个 WMT 机器翻译任务的广泛实验表明，使用相同数量的参数，较浅的多路径模型可以实现类似甚至更好的性能，揭示了在训练更好的大型 Transf
PDFa year ago
通过参数高效架构扩展预训练语言模型的深度
本文提出一种基于 MPO 分解的高度参数化效率的方法，可将预训练语言模型（PLMs）扩展到更深的模型深度，并通过共享主要信息和保留层特定辅助信息的组合，实现模型大小的降低和性能提升。
PDFa year ago
解耦图神经网络的深度和范围
为了解决现有 GNN 模型在图形和模型规模上的可伸缩性有限的问题，我们提出了一种设计原则来解耦 GNN 的深度和范围，从而获得更好的表达能力和更少的计算成本。
PDF2 years ago
CVPR快速准确的模型缩放
本文探讨卷积神经网络的扩展策略，指对基础卷积网络进行扩展以赋予其更高的表征能力。作者提出一种快速且简单的复合扩展策略，旨在主要扩展模型的宽度，而稍微扩展其深度和分辨率。实验结果表明，许多扩展策略可以产生类似的精度，但其性能却各异。该研究为在
PDF3 years ago
倒推学习倒推
本文提出了一种具有恒定内存的迭代逆模型，利用可逆网络避免存储中间激活数据，可以在 MRI 图像重建任务中训练具有 400 层的模型，并在公共数据集上证明这些更深、更具表现力的网络实现了最先进的图像重建。
PDF5 years ago
神经机器翻译的深度架构
本文介绍和评估了引入深度的机器翻译模型的若干现有方法和新型架构，包括深转移 RNN 和不同深度解码时注意力的使用方式。实验结果表明，BiDeep RNN 架构的组合深度为 8 时在速度和翻译质量方面均有显著提高，相比强浅层基线的平均提高 1
PDF7 years ago