training instability | BriefGPT

关键词training instability

搜索结果 - 11

C-GAIL: 使用控制理论稳定生成对抗模仿学习
Generative Adversarial Imitation Learning (GAIL) 使用强化学习来优化 GAN-like 判别器的奖励信号，但存在训练不稳定的问题。本文通过控制论分析 GAIL，提出一种新的控制器 'C-GAI
PDF4 months ago
ICLR稀疏诱导激活的深度神经网络初始化
通过剪枝层来诱导和利用稀疏激活是提高深度网络计算效率的一种有前途的方法，本论文使用大尺度高斯过程极限分析了随机初始化时诱导隐藏层稀疏性的非线性激活函数，证明了一种先前未报告的培训不稳定性，并表明通过剪枝激活函数的幅度，可以克服这种不稳定性，
PDF4 months ago
考虑物理信息的生成 - 编码对抗网络及潜空间匹配用于随机微分方程
我们提出了一种新的物理信息生成编码对抗网络，用于有效解决随机微分方程中正向、反向和混合问题所带来的挑战。该模型包括生成器和编码器两个关键组件，通过梯度下降轮流更新。与直接匹配近似解和真实快照的先前方法不同，我们采用间接匹配，在较低维潜在特征
PDF8 months ago
令牌混合：通过跨样本聚合实现高效的 LLMs
提出了一种全可微分的模型，称为 Mixture of Tokens，它在避免了 Mixture of Experts 模型的困难的同时保留了其优点，通过在专家之前混合来自不同示例的标记，使模型能够从所有标记 - 专家组合中学习。此方法与大型
PDF8 months ago
大规模 Transformer 训练不稳定性的小规模代理
在本文中，我们研究了训练稳定性和不稳定性在小规模下的再现和研究方法，重点关注了注意力层中逻辑增长和输出逻辑概率分歧的两个训练不稳定性来源，并研究了学习率、优化器和模型干预对最终损失的敏感性的影响，以及通过研究模型激活和梯度范数的缩放行为来预
PDF9 months ago
生成对抗网络的惩罚梯度归一化
本文提出了一种新的归一化方法 —— 惩罚梯度归一化（PGN），用于解决由于尖锐梯度空间导致的生成敌对网络（GAN）的训练不稳定性。通过对判别函数施加惩罚梯度约束，提高了鉴别器的能力，可以在不同的 GAN 架构上应用而无需进行多少修改，广泛的
PDFa year ago
PTP：基于扰动正则化的 Prompt Tuning 提升稳定性和性能
研究表明，在自然语言理解任务中，prompt tuning 相比下游微调能更好地利用大型语言模型的优势，但是现有的 prompt tuning 方法在训练时存在不稳定性问题。本文提出了基于扰动的正则化方法，将其应用到 prompt tuni
PDFa year ago
NIPS去偏自我训练用于半监督学习
在半监督学习中，为了减少标记数据的需求，经常使用自我训练来分配伪标签。然而，由于自我训练中可能会出现错误的伪标签，从而导致训练不稳定，因此提出了一种去偏差的自我训练方法，它使用两个参数独立的分类器头来分离伪标签的生成和利用，并通过对抗优化表
PDF2 years ago
ICCV生成对抗网络的梯度归一化
本文提出了一种新的归一化方法 —— 梯度归一化（GN），通过在鉴别器函数上施加硬 1-Lipschitz 约束，从而增加鉴别能力，解决了生成对抗网络中尖锐梯度空间引起的训练不稳定性问题，并在四个数据集上进行了广泛实验，证明了使用梯度归一化训
PDF3 years ago
探究自动驾驶行为克隆的局限性
本文介绍一种新的基准测试，以探究行为克隆的可扩展性和限制性，结果表明，行为克隆在复杂的驾驶情况下拥有先进的成果，但是仍存在数据集偏差和过度拟合的问题，缺乏因果模型和培训不稳定性导致进一步的研究需要进行。
PDF5 years ago
双重 GANs
本文提出了一种名为 ' 双重生成对抗网络 ' 的方法，通过对判别器进行对偶操作，使其与生成器协同工作，来解决生成对抗网络训练中的不稳定性问题。同时，针对线性和非线性鉴别器，提出了相应的解决方案。
PDF7 years ago