regularization term | BriefGPT

关键词regularization term

搜索结果 - 28

通过最优收缩在预测问题中校准神经网络参数
通过将递归神经网络转化为一个已知参数为线性的收缩系统，本文展示了透过具有特定正则化项的递归神经网络模型建模的预测问题可以通过解析法找到其一阶条件的方程组，并将其简化为包含 Sylvester 方程的两个矩阵方程，从而证明在满足一定条件的情况
PDF19 days ago
MM子模型多任务子集选择中的本地分布鲁棒性
在本研究中，我们通过引入基于本地分布鲁棒性的参考分布邻域，提出了一种多任务子模块优化问题的方法。我们首先建议引入一个正则化项，利用相对熵与标准多任务目标之间的关系。然后通过对偶性证明这个新的公式本身等同于最大化一个子模块函数，这可以通过标准
PDF3 months ago
长期机器人任务的未来预测性成功或失败分类
自动化长时程任务的重点研究领域是如何利用机械臂完成任务，本文提出了一种基于未来预测的成功或失败分类方法，通过端到端的方式确定行动计划能否完成给定任务，此方法同时利用了长时程的未来预测方法和过渡一致性正则化术语，通过分类和机器人操作实验验证了
PDF3 months ago
多模态范式的归因规范化
通过提出新的正则化项，促进多模态模型在决策过程中有效利用所有模态的信息，以缓解单模态主导性问题并提高多模态机器学习系统的性能。
PDF3 months ago
利用原型表示消除社会偏见而不包含人口统计信息
DAFair 是一种用于减轻语言模型中社会偏见的新方法，通过预定义的典型人口统计文本，并在微调过程中加入正则化项来纠正模型的表示中的偏见，从而在两个任务和两个模型上实证结果显示了我们方法的有效性。此外，即使在有限的人口统计注释数据下，我们的
PDF4 months ago
多类线性分类问题的一位量化和稀疏化：通过正则化回归
利用线性回归在过参数化制度中进行多类别分类研究，分析了数据集中的标签错误对分类性能的影响，研究发现加入正则项可以避免过拟合错误标签，并证明了当正则函数为 2 - 范数时的最佳分类性能，同时还分析了 1 - 范数和无穷范数时的分类错误情况以及
PDF5 months ago
AAAI不确定性规范化的证据回归
本文介绍了一种结合深度学习和 Dempster-Shafer 理论的新方法，即证据回归网络 (ERN)，用于预测目标并量化相关不确定性。通过理论分析，我们发现一种限制模型性能的约束，并引入一种改进方法以克服此限制。我们探索了 ERN 并提出
PDF6 months ago
无正则项梯度下降学得的过参数化深度神经网络估计的 $L_2$ 误差分析
通过合适的初始化、梯度下降步数和步长选择，在深度神经网络中无需正则化项，可以达到普适的一致性和收敛速度，而且对于有界预测变量，$L_2$ 误差收敛速度约为 $n^{-1/(1+d)}$，对于交互模型，收敛速度与输入维度 $d$ 无关。
PDF7 months ago
稀疏随机网络存在：通过正则化强化通信高效的联邦学习
本研究提出了一种新的方法，用于增强随机联合学习中的通信效率，该方法在超参数随机网络上进行训练。通过优化二进制掩码而不是模型权重，实现对稀疏子网络的表征，其泛化效果与更小的目标网络相当好。与传统的联合学习中浮点权重相比，仅交换稀疏的二进制掩码
PDF9 months ago
ICCV通过自适应加权正则化和知识蒸馏增强低标签模式下的对抗鲁棒性
关键词：对抗鲁棒性、半监督对抗训练、有标签数据稀缺、正则化项、知识蒸馏。摘要：本文研究了对抗鲁棒性的半监督对抗训练，探究了稀缺有标签数据情况下的两个鲁棒风险上界，并提出了正则化项以应用于无标签数据，最后通过半监督教师模型的知识蒸馏结合提出的
PDFa year ago
深度神经网络在头颈癌预测中的特征梯度流解释
该研究介绍了一种名为特征梯度流的新技术，用于以人类可以理解的特征来解释深度学习模型。该技术通过测量可解释特征与模型的梯度流之间的一致性来评估特定特征对模型的重要性，并通过在损失函数中添加正则项来训练更易解释的神经网络。研究还在从癌症影像存档
PDFa year ago
PROTO: 迭代策略规范化离线到在线强化学习
PROTO 使用逐步演化的正则化项优化标准 RL 目标，实现离线到在线 RL 的路径，与各种方法高度适应并具有高效的在线调整性能。
PDFa year ago
ICML基于分支定界的 IBP 正则化方法实现验证性对抗攻击鲁棒性
IBP-R 是一种新颖的验证训练算法，使用扩大的域上的对抗攻击和正则化术语，并使用廉价的间隔边界传播来最小化非凸验证问题与其近似之间的差距。通过利用最近的分支换框架，我们展示了 IBP-R 获取了 CIFAR-10 上小扰动的最新验证鲁棒
PDF2 years ago
EMNLPAVocaDo: 将词汇适应到下游领域的策略
本文提出了一种针对迁移学习微调阶段中预训练词汇表不能适用于不同领域数据的问题，通过考虑词汇表为可优化参数，利用基于分词统计的领域特定词汇表对其进行扩展和优化，同时利用预训练的语言模型知识和正则化项防止新添加单词的过拟合，实现在不同领域（如生
PDF3 years ago
CVPR地标正则化：在神经架构搜索中使用排名引导超级网络训练
本研究提出一种正则化项，通过一小组标志性架构来最大化共享权重网络和独立体系结构性能排名之间的相关性，在三种不同的 NAS 算法中应用并证明其能够提高算法的性能。
PDF3 years ago
通过对比正则化提高图表示学习
通过理论分析和实验，本文提出一种轻量级正则化项，旨在避免节点表示的高规范化和高变异性以提高泛化性能，从而在不同的节点相似性定义方面显着改善表示质量并超越现有最佳方法。
PDF3 years ago
EMNLPF1 不够用：面向用户中心的可解释问答模型与评估
当前可解释的问答系统存在回答与解释耦合度不够的问题，本文提出一种层次模型及新的规范化项来加强回答 - 解释的耦合，并提供两种评估指标来量化耦合，实验结果显示该方法可以提高用户的使用体验和判断系统正确性的能力。
PDF4 years ago
ACL句子分类任务上的后验校准训练
本文提出了一种名为 Posterior-Calibrated Training 的训练方法，直接优化目标，并最小化预测后验概率与经验后验概率的差异，从而在减小校准误差的同时提高任务性能。该方法对于任何类型的分类任务都能很好地适用。
PDF4 years ago
CVPRAutoTrack：面向自动时空正则化的无人机高性能视觉跟踪
提出了一种自适应在线学习以提高无人机（UAV）目标跟踪和定位的方法，该方法通过引入空间本地响应地图变化作为空间正则化，并使用全局响应地图变化来确定滤波器的更新速率，优于基于 CPU 和 GPU 的跟踪器，速度为每秒约 60 帧，具有较高的有
PDF4 years ago
面向方面级别情感分析的渐进式自监督注意力学习
本文提出了一种渐进式自监督注意力学习方法，用于神经网络的方面级情感分类模型，该方法自动从训练语料库中挖掘有用的注意力监督信息来改善注意力机制，实验结果表明，该方法可以提高注意力机制，相对于现有的两个状态 - of-the-art 神经方面级
PDF5 years ago