BriefGPT.xyz
Ask
alpha
关键词
early-bird tickets
搜索结果 - 4
EMNLP
鲁棒早鸟票高效对抗训练
本研究通过优化对抗训练过程，发现在早期训练阶段（通常为 0.15~0.3 个时期），连通性模式可以提高预训练语言模型（PLMs）的鲁棒性。基于此发现，作者提出了一种高效的对抗训练方法，利用稀疏结构在早期阶段寻找强韧的 “早期票”。实验结果表
→
PDF
2 years ago
AAAI
早鸟 GCNs：通过早期抽奖实现图网络协同优化，以更高效地训练和推断 GCN
我们提出了一种基于抽奖思想的 GCN 图稀疏化方法，并发现了在 GCN 稀疏化过程中出现的图中的 “早起鸟票”（GEB）。我们开发了 GEBT 框架，该框架可通过绘制联合早起鸟票来同时稀疏化 GCN 图和模型，并在多个 GCN 模型和数据集
→
PDF
3 years ago
AAAI
深度生成模型中的中奖彩票
本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的
→
PDF
4 years ago
ICLR
提前获取优惠票：走向更高效的深度神经网络训练
本文提出了一种发现神经网络的优胜子网络（winning tickets）的方法 ——early-bird tickets，可以利用低成本的训练方案（如早停训练和低精度训练）在较早的训练阶段发现，并通过提出的 mask distance 度量
→
PDF
5 years ago
Prev
Next