dropout | BriefGPT - AI 论文速递

关键词dropout

搜索结果 - 105

策略梯度强化学习的一致性 Dropout
本研究分析了在强化学习中使用 dropout 的不适用性，介绍了一种称为 “一致性 dropout” 的方法来解决这种不稳定性，并演示了在宽范围的 dropout 概率下，一致性 dropout 使得 A2C 和 PPO 的连续和离散动作环
PDF2 years ago
CVPR图像超分辨率重训练 Dropout
本研究发现，在低级视觉任务如图像超分辨率问题中，适当使用 dropout 有助于提高网络的泛化能力，特别是在多降级设置下的最佳嵌入方式是在网络末端，两种分析工具验证了实验水平的假设并为我们提供了新的理解 SR 网络的途径。
PDF3 years ago
CVPR金字塔对抗训练提高 ViT 模型性能
本研究旨在提高视觉转换器的总体性能，通过实现金字塔对抗训练（PyramidAT），同时采用适配的 Dropout 和随机深度正则化技术，使在分布和越界数据分类准确性之间的权衡断裂。实验结果显示，当只使用 ImageNet-1K 数据训练 V
PDF3 years ago
KDDDropout 的梦幻之地：从学习模拟器到现实的泛化
本研究探索从梦境环境到真实环境的通用方法 Drean2Real。借鉴于领域随机化，结合使用丢失（Dropout）技术，我们使用具有可配置参数的世界模型训练来创建多样的梦境环境，提高控制器从神经网络梦境环境到现实环境转移的能力，并证实了丢失梦
PDF3 years ago
AAAI利用多任务多模态神经融合对教育数据库中的大学生留存风险进行分析
利用多模态时空神经融合网络开发了多任务学习模型 (MSNF-MTCL), 通过结合 BERT 和 LSTM 对学生的学术信息进行建模，可以预测 5 种重要的学生保留风险。该模型在数据量达 36,445 个学生的教育数据库上表现良好，且考虑到
PDF3 years ago
R-Drop: 神经网络的正则化丢弃
本文中介绍了一种简单的正则化方法 R-Drop，该方法强制不同子模型生成的输出分布相互一致，从而提高了深度学习模型的效果。通过在 5 个深度学习任务（包括神经机器翻译、摘要概括、语言理解、语言建模和图像分类）上的实验证明，R-Drop 是普
PDF3 years ago
并非所有的关注点都是您所需要的
本文提出一种名为 AttendOut 的新的 dropout 方法，旨在让基于自注意力的 PrLMs 具备更加鲁棒的任务特定调整能力，从而实现更强的性能表现。通过在多项自然语言处理任务中的验证，证明了该方法的普适性。
PDF3 years ago
上下文丢弃：一种高效的样本相关丢弃模块
本文提出了上下文辍学模块，采用有效的结构设计作为一个简单和可伸缩的样本依赖性辍学模块，可应用于各种模型中，展示了该方法的可伸缩性在大规模数据集上的实验结果显示，该方法在准确性和不确定性估计质量方面优于基线方法。
PDF3 years ago
从博弈论的角度解释和提升 Dropout
本文从博弈论的角度探讨了 Dropout 操作的效用，证明 Dropout 可以抑制深度神经网络输入变量之间的相互作用，并找到这种相互作用与过拟合问题之间的强相关性。在此基础上，提出了一种交互损失来进一步提高 Dropout 的效用，实验证
PDF4 years ago
离线手写中文文本识别与卷积神经网络
本文研究基于深度学习的方法在离线手写中文文本识别领域的应用，使用只有卷积神经网络的模型和 CTC 损失函数实现，采用 Dropout 方法以防止过拟合，最终在 ICDAR 2013 竞赛数据集上实现了 6.81% 的字符错误率，为同等条件下
PDF4 years ago
后验网络：基于密度伪计数的无需 OOD 样本的不确定性估计
本文提出了一种基于 Posterior Network 的方法，该方法使用 Normalizing Flows 预测任何输入样本的概率预测的闭合后验分布，可以精确地反映入内和外分布数据的不确定性，无需在训练时访问 OOD 数据，实现了最先进
PDF4 years ago
检测非分布式翻译的变分转换器
使用等效于 Transformer 模型的贝叶斯深度学习方法检测神经机器翻译中的训练数据分布外句子。我们使用长序列离散随机变量的新不确定性衡量法解决了现有方法在长句子上不适用的问题，并在使用 dropout 的 Transformer 模型
PDF4 years ago
CVPR随机稀疏子空间聚类
本文提出了基于 dropout 和正则化的随机稀疏子空间聚类方法，旨在解决现有方法在同一子空间内数据点之间连接不紧密的问题，并经过大量实验验证了该方法的有效性和可扩展性。
PDF4 years ago
CVPR退化作为一个隐式门控机制的连续学习
本论文研究神经网络在连续学习中的稳定性与遗忘问题，并提出一个基于隐含门控机制的 dropout 算法，它在不同任务之间使不同的神经网络路径被激活，从而在连续学习中实现知识保留和性能提升。
PDF4 years ago
深度学习小数据的研究
通过不同的深度学习算法以及数据集，我们发现在数据集有限的情况下，模型的复杂度是一个至关重要的因素，我们的研究表明，与过去文献不同的是，在一些配置下，使用低复杂度的卷积神经网络可以达到或超过现有的极限水平。此外，数据扩充也可以大幅提高性能，并
PDF4 years ago
Dropout: 显式形式和容量控制
研究了 Dropout 在不同机器学习问题中提供的容量控制能力。在深度学习中，Dropout 的数据依赖正则化直接控制了基本深度神经网络类的 Rademacher 复杂度，并在矩阵完成和训练深度神经网络中给出了具体的泛化误差界限。在真实数据
PDF4 years ago
ICMLDropout 的隐式和显式正则化效应
本文研究了 dropout 正则化方法的两种作用：修改预期训练目标的明显作用和训练更新的随机性所导致的额外的隐含作用。通过对实验的控制和分析，提出了可以替换 dropout 的简化分析正则化器。
PDF4 years ago
可学习的 Bernoulli Dropout 用于贝叶斯深度学习
本文提出了可学习 Bernoulli dropout（LBD），它是一个新的模型无关的 dropout 方案，将 dropout 率视为参数，与其他模型参数一起联合优化，通过 Bernoulli dropout 的概率建模，LBD 实现了深
PDF4 years ago
连续性舍弃
通过将传统的二值 Dropout 扩展为连续 Dropout，本文介绍了一种更贴近于神经元活动特性的 Dropout 算法，并在多个图像数据集上和其他 Dropout 算法进行对比实验，结果表明该方法在避免特征检测器的共适应方面表现更好，同
PDF5 years ago
CVPR关于结构化 Dropout 正则化特性的研究
单层线性网络中，DropBlock 引入了谱 k-support 正则化，促使解具有低秩和等范数的因子。这个全局极小值可以用闭合形式计算。若在最后一层应用 Dropout，某些假设下此结果可扩展到 Dropout 策略的一般类和深度非线性网
PDF5 years ago