progressive training | BriefGPT

关键词progressive training

搜索结果 - 16

基于损失感知的异构图神经网络课程学习
本文研究异构图神经网络 (HGNNs) 的课程学习技术应用，设计了一种损失感知的训练进度表，命名为 LTS，该表度量数据的每个节点的质量，并逐步增加难度地将训练数据集融入模型中。LTS 可无缝集成到各种框架中，有效减少偏差和方差，减轻噪声数
PDF4 months ago
LW-FedSSL：资源高效的逐层联邦自监督学习
提出一种层次化的联邦自监督学习方法 (LW-FedSSL)，通过在 FL 环境中利用资源丰富的服务器进行全局模型训练，以及在 FL 本地模型与全局模型之间建立紧密联系的表示对齐机制，实现了与端到端 FedSSL 相当的性能，同时显著降低客户
PDF5 months ago
Boosting3D: 通过逐步学习将 2D 扩散先验提升到 3D 先验的高保真图像到 3D 转化
Boosting3D 是一种多阶段单图像到 3D 生成方法，能够在不同数据领域中鲁棒地生成合理的 3D 对象。该方法通过建模合理的几何结构来解决单图像引导的 3D 生成中的视角一致性问题，利用更好的 3D 先验在训练 NeRF 之前对目标对
PDF7 months ago
莫特里卡扩散模型
引入了 Matryoshka Diffusion Models（MDM），这是一种用于高分辨率图像和视频合成的端到端框架。通过在多个分辨率上联合去噪输入，使用嵌套 UNet 架构和从低到高分辨率的渐进式训练安排，实现了高分辨率生成的显著优化
PDF8 months ago
ACLPaCE: 统一的多模式对话预训练，采用渐进式和组合专家
提出了一种有结构、组成、统一的多模态对话预训练框架 PaCE，旨在通过少量的对话和大量的非对话多模态数据，应对多模态对话多样的任务和新的挑战，采用渐进式训练方法，实现旧专家辅助新专家，拓展其能力，取得了八项多模态对话基准测试的最新成果。
PDFa year ago
ProGAP: 具有差分隐私保证的渐进式图神经网络
本文提出了一种名为 ProGAP 的新型差分隐私图神经网络，通过逐步训练的方法改善了精度和隐私之间的权衡，并使用聚合扰动技术确保差分隐私，证明了 ProGAP 在训练和推断阶段均能保证边界和节点级的隐私保证，实验结果证明 ProGAP 比现
PDFa year ago
EMNLP混合语文本数据的渐进情感分析
本研究提出了一种基于多语言变形器语言模型的框架，将区分资源丰富和资源贫乏语言作为参考来逐步从资源丰富语言的样本到资源贫乏语言的样本进行训练，来解决多语言情感分析中的跨语言学习问题。实验证明，该框架能有效帮助资源贫乏语言的样本训练。
PDF2 years ago
ICMLProgFed: 渐进式训练实现有效通信和计算效率高的联邦学习
在边缘设备资源紧缺且网络带宽有限的情况下，我们提出了 ProgFed，这是一种高效的联邦学习框架，能够降低计算和双向通信成本同时保持最终模型的强大性能。
PDF3 years ago
CVPR通过候选增强和渐进式训练来改善超网的排名相关性
通过重新设计超网络的子网络，逐步添加窄分支以减少权重共享的程度并提高排名相关性，可以有效减轻不同候选网络之间的相互干扰，从而提高了神经结构搜索的自动化设计效率。该方法在 CVPR2021 轻量级 NAS 挑战赛超级网络赛道中获得了第一名。
PDF3 years ago
ACL渐进式 BERT 训练中的 Transformer 增长
本文旨在通过对 Transformer 增长的探索来指导渐进式训练，发现复合缩放方法可以平衡模型的深度、宽度和输入的长度，并通过比较实验探索每个维度的替代增长操作，最终使 BERT 的预训练加快 73.6％（基本模型）和 82.2％（大模型
PDF4 years ago
一般化行人检测：房间里的大象
本研究通过直接的跨数据集评估的一般性原则，发现了现有最先进的行人检测器在跨数据集评估中通常表现不佳，主要因为其设计可能偏向传统的单数据集训练测试流程中的流行基准，而训练数据源不够密集和多样化。此外，本文提出了一条渐进的培训流水线，可以明显地
PDF4 years ago
ICCV图像去马赛克和增强的高分辨率网络
提出了一种高分辨率神经网络（HERN）方法，通过两个并行路径来学习两个不同分辨率下的图像特征，结合全局感知特征和多尺度特征，使用渐进训练方法处理图像去马赛克和增强任务，实现了令人满意的 GPU 内存使用和较快的模型收敛。在 AIM2019
PDF5 years ago
分裂最陡下降用于增长神经结构
本研究提出了一种逐步训练神经网络的方法，该方法通过将现有神经元分裂成多个比较小的单元，从而自适应地增长网络结构。该方法的优点在于其使用了一种名为函数最速下降法的思路来决定神经元裂变的最佳子集并进行最优更新。这种方法提供了一种新的高效优化神经
PDF5 years ago
利用面部关键点注意力的渐进式人脸超分辨率
本论文提出了一种新颖的面部高清晰度恢复方法，采用了渐进式训练、面部注意力损失和压缩的人脸标注热图提取网络，实现了全面的面部特征恢复，使得图像更为逼真清晰，表现最好。
PDF5 years ago
全面渐进式的单图像超分辨率方法
通过渐进式训练和学习流程，使用生成式对抗网络的方法逐步提升图像的超分辨率，该方法的重点在于其多尺度的设计，能够在高放大因子下有更好的表现。
PDF6 years ago
Gang of GANs：带有最大间隔排名的生成对抗网络
本研究提出了 Gang of GANs (GoGAN) 方法，将 WGAN 的鉴别器损失推广到基于边界的方法，实现更好的生成器和较少的梯度消失、不稳定性和模式崩溃问题，并采用一种新的 GAN 质量测量方式，并在四个视觉数据集上进行了评估，相
PDF7 years ago