Deep Fusion: 利用预训练的初始值进行高效的网络训练

Jun, 2023

Deep Fusion: 利用预训练的初始值进行高效的网络训练

Deep Fusion: Efficient Network Training via Pre-trained Initializations

Hanna Mazzawi, Xavi Gonzalvo, Michael Wunder

TL;DR该研究介绍了 Deep Fusion 的有效方法，利用预训练小型网络的初始化来加速训练过程，减少计算需求，提高自然语言处理任务的泛化性能。

Abstract

In recent years, deep learning has made remarkable progress in a wide range of domains, with a particularly notable impact on natural language processing tasks. One of the challenges associated with training deep neural networks is the need for large amounts of computational resources

deep learning neural network training nlp tasks pre-trained initializations deep fusion

发现论文，激发创造

融合 Fine-tuned 模型以改善预训练

通过融合多个经过微调的模型，平均模型参数来达到更好的基础模型的目的，并且发现融合模型效果常常优于预训练模型，同时融合比互训模型更鲁棒且不受目标任务依赖。

Apr, 2022

深度融合网络

本文介绍了一种深度融合的神经网络，能够学习多尺度表现并由浅层网络和深层网络联合学习，提出的网络相比 ResNet 和 Highway 等方法具有更好的性能表现。

May, 2016

用于多领域端到端任务导向对话的动态融合网络

研究通过引入共享专有网络和动态融合网络，明确利用多领域数据，提高每个领域和未见过领域的性能，以及在较少训练数据情况下的可移植性，从而为多领域对话的研究提供了一种先进方法。

Apr, 2020

大规模深度学习模型的高效训练：文献综述

对于深度学习模型的训练加速技术的综述，主要从数据中心、模型中心、优化中心、预算训练和系统中心五个角度入手，详细介绍了各个方面减小计算复杂度的方法，其中包括数据样本的正则化、模型参数的减少和优化目标的设计等。

Apr, 2023

融合深度卷积网络进行大规模视觉概念分类

本研究从大数据方面对卷积神经网络进行了分析，并在单个和多个网络模型上提出了有效的融合机制，为大数据从业人员提供了最佳实践，从而在保持计算成本较低的情况下，在基准数据集上取得了最先进的结果。

Aug, 2016

卷积神经网络的数据相关初始化

该研究提出了一种快速、简单的数据依赖初始化过程，可避免幻灭或爆炸梯度，并能够与当前领先的无监督或自监督预训练方法相匹配，同时比前人的方法快大约三个数量级，当与预训练方法结合时，可以显著优于先前的工作，在监督和无监督预训练之间缩小差距。

Nov, 2015

FusionBench 深度模型融合的全面基准

深度模型融合是一种新兴技术，它以经济高效的方式将多个深度神经网络的预测或参数统一到一个模型中，从而优于原模型的性能。为了解决评估这些融合技术有效性和稳健性的问题，我们介绍了 FusionBench 作为第一个全面专门面向深度模型融合的基准测试。FusionBench 覆盖了各种任务，并在不同任务、模型规模和微调策略下提供了公平且全面的比较。同时，我们还提供了资源和指南，以帮助研究人员理解和复现基准测试结果。

Jun, 2024

MultiFusion：预训练模型融合用于多语言，多模态图像生成

本文提出了一种名为 MultiFusion 的方法，利用预训练模型将多个语言和多模态输入整合到单一的图像生成模块中，从而大幅提高了效率。实验证明，MultiFusion 可以将各个独立的组件整合起来，使图像生成模块能够利用来自各种语言和模态的输入。

May, 2023

高效条件预训练用于迁移学习

提出了用于计算机视觉任务的预训练神经网络的有效过滤方法，包括图像分辨率下采样和数据子集筛选，验证结果表明这种方法明显降低了训练成本并提高了性能。

Nov, 2020

深度卷积神经网络中的非迭代知识融合

该研究提出了两种方法可以将具有不同知识的神经网络的信息合并，一个是通过加权和的简单操作，另一个是通过修改权重来转移知识；这些方法被应用于分类等任务，并证明其效率。

Sep, 2018