- 超越辍学:通向可推广图像超分辨率的引人注目解决方案
利用深度学习在单图像超分辨率(SISR)方面取得了显著进展,尽管大部分现有工作假设简单且固定的降级模型,但盲目超分辨率的研究旨在改进对未知降级能力的建模,本文提出了一种更合适的训练策略利用 Dropout 来提高盲目超分辨率的模型泛化能力, - 神经语言模型的逐层正则化丢弃
我们提出了一种特别为基于 Transformer 的语言模型设计的新型 Layer-wise Regularized Dropout (LR-Drop) 方法,通过一些研究使用一致性训练在输出层对 dropout 进行规范化,每个 Tran - AAAI多假设丢弃:多模态输出分布参数估计
通过使用多假设 dropout 和一种新颖的随机分胜负损失函数,本文提出了一个混合多输出函数 (MoM) 方法,该方法不仅估计均值而且估计假设的方差,并在监督学习和无监督学习问题上实验验证了其性能优越性。
- 规模 - 丢弃:使用随机规模估计深度神经网络中的不确定性
在本论文中,我们提出了一种用于二元神经网络(BNNs)的新型正则化技术 —— 比例 Dropout(Scale Dropout),以及基于蒙特卡罗比例 Dropout(MC-Scale Dropout)的 Bayesian NNs,用于有效 - FLrce: 基于关系的客户选择和提前停止策略的高效联邦学习
FLrce 是一种高效的联邦学习框架,具有基于关系的客户选择和提前停止策略,可以加速 FL 过程并节省通信和计算资源。实验结果表明,FLrce 提高了通信和计算效率,并保持了竞争性的准确性。
- ICCV基于参数的梯度信噪比引导的域泛化
本文提出了一种基于梯度信噪比的参数选择方法,以解决深度神经网络在源域过拟合的问题,并通过元学习方法减轻了搜索最佳 dropout 比率的负担。评估结果表明,在标准域泛化基准测试中,我们取得了分类和人脸防伪问题方面的竞争性结果。
- Dropout 攻击
DROPOUTATTACK 是一种新型的神经网络污染攻击,通过操纵选择性地丢弃神经元来破坏 dropout 算子的性能,导致训练减慢、目标类别预测准确性降低、目标类别的精确度或召回率遭到破坏。在实验中,我们使用 VGG-16 模型在 CIF - 基于正负未标注度量学习的文档级关系抽取框架
本文提出了一种基于 P3M 度量学习框架的文档级关系抽取方法,使用正向增强和混合方法进行正向无标签学习,改进了文档级关系抽取的 F1 分数。
- 增强子模型以提升主模型
本文提出了一种名为 AugSub 的新型正则化使用方法,该方法包括两个模型:主模型和子模型。 AugSub 通过缓解自蒸馏 Loss 类似的松弛损失函数对抗效应来实现额外正则化的好处;本文进一步验证 AugMask 在不同的培训配方中的有效 - Spatial-SpinDrop: 基于空间 dropout 的二进制贝叶斯神经网络及自旋电子学实现
本篇论文介绍了一种采用 MC-SpatialDropout 技术的空间 dropout 的 BayNNs 方法,该方法使用尺度剪枝和自旋体制,以降低硬件成本和能耗,并且在有效降低能源消耗的前提下保持了较高的准确性。
- ShuffleMix:通过通道洗牌插值隐藏状态来提高表征
本文提出了 ShuffleMix 概念,将 Mixup 样式数据增强算法中的 dropout 策略引入到特征空间。与 Manifold Mixup 相比,ShuffleMix 在单标签和多标签视觉分类任务上表现更优。
- 随机修正方程和 Dropout 算法的动力学
本文研究了 dropout 过程中的梯度优化机制,使用模拟方法得出其随机修改方程,证明了 dropout 的正则化能力来自于其寻找更平稳的极小值点,实验结果表明这种机制在 dropout 的训练过程中普遍存在。
- Dropout Drops Double Descent
本论文发现并分析了只需要在全连接层之前添加一个 dropout 层,我们就可以轻松避免双峰下降现象。我们通过理论和实验证明,在线性回归模型和非线性随机特征回归中使用最优 dropout 可以缓解双峰下降现象,并通过 Fashion-MNIS - ACL神经主题模型真的需要 Dropout 吗?对 Topic Modeling 中 Dropout 效果的分析
本文分析了在三种神经主题模型(CTM,ProdLDA 和 ETM)使用 VAE 的编码器和解码器中的 Dropout 对生成主题的质量和预测性能的影响。
- Dropout 减少过拟合
本文研究表明,与只在训练后期使用 dropout 的模型不同,在训练开始时使用 dropout 可减弱梯度方向差异和限制单个批次对模型训练的影响,从而更好地提高模型的泛化精度。
- 基于不确定度采样、注释冗余限制和数据初始化的脑肿瘤分割主动学习
本研究探讨了使用 dropout 不确定性评估的 active learning 策略以降低医学 3D 成像中神经胶质瘤 MRI 图像分割所需的大量注释数据,实现了最少数据量达到与全数据集训练相同水平的性能。
- 高等教育学生支持推荐系统本科数据收集策略框架
本文旨在提出适用于高等教育推荐系统的数据收集框架,以减少收集偏差、了解学生特征并找到对学生旅程产生最佳影响的理想方式,以应对学生支持策略的可伸缩性问题。
- AD-DROP: 基于归因的 Dropout 技术用于鲁棒性语言模型微调
该研究探讨了使用 dropout 来防止预训练语言模型在有限的数据训练时出现的过拟合问题,提出了一种名为 AD-DROP 的基于注意力机制的策略来防止高度依赖性的高注意力位置被过度舍弃,通过交替使用模型调优后和 AD-DROP 来避免过度舍 - 重新审视结构化 Dropout
本文研究使用多个有构造性的 Dropout 方法在多个现代神经网络上进行自然语言处理和计算机视觉任务。我们提出了一种名为 ProbDropBlock 的方法,该方法可以提高模型的性能,并且已经在 RoBERTa 和 ImageNet 上得到 - Dropout 并非防止梯度泄漏所必需
这篇论文研究使用 Dropout 防御梯度反演攻击是否会影响模型效用,发现虽然使用 Dropout 能够一定程度上减少梯度泄露,但其并不能可靠地保护隐私,提出了一种新的 Dropout 反演攻击 (DIA) 来近似原始模型进行攻击,并在四种