本研究提出了一种自适应训练算法,通过模型预测动态纠正出现问题的训练标签,从而提高深度学习在可能出现标签噪声和超出分布样本的情况下的数据稳健性。实验结果表明,自适应训练可显著提高我们的方法在标签噪声和选择分类两个应用上的性能表现。
Feb, 2020
研究了最小误差熵准则和经验风险最小化算法在回归设置中的应用,提出了一种学习理论方法,并在 MEE 缩放参数较大的情况下提供了显式误差界,在泛化误差方面进行了新颖的渐近分析,并介绍了半范数和涉及的对称最小二乘误差,与一些排名算法有关。
Aug, 2012
本文提出了一种量化的交互式学习和自适应行为方法,并从模型和决策制定的角度整合了行为反馈。通过在最小复杂度下最大化预测能力,导出了最优行为政策和模型的类,并总结了这一过程的因果组织。该方法的基本原则之一是学习者的最优行为政策需要在勘探和控制之间保持平衡,这是一个新的重点。
Sep, 2007
本文提出了一种自适应缩放算法,通过动态代价敏感性学习实现直接优化 F 值,处理信息提取中稀疏正实例的问题,并采用边际效用的概念对实例重要性进行测量,在不引入额外超参数的情况下,有效解决了神经网络检测模型训练不稳定性的问题。
May, 2018
通过神经竞争和倾斜指数(TEXP)学习来提高深度网络的鲁棒性,无需数据增强,并通过倾斜 softmax 进行推断。
Nov, 2023
关于如何在自适应数据分析中保证统计推断的有效性的研究,使用隐私保护技术协调估计值,并在估计指数数量的期望时取得了指数级的改进,适用于多重假设检验和虚假发现率控制。
Nov, 2014
本文介绍了应用统计力学工具分析感知机中各种监督学习规则动态的方法。通过提供与自我传授想法及技巧相关的信息,展示了理论预测与实验结果的比较,以及孤立结果的聚合。
May, 1997
这篇文章介绍了关于神经网络的统计理论,从三个角度进行了综述:非参数回归或分类中关于神经网络过度风险的结果,神经网络的训练动力学以及生成模型中的最新理论进展。
Jan, 2024
本文提出了一种新颖的信息论框架,用其自己的遗憾和样本复杂度分析机器学习的数据需求,并用该框架研究了由具有 ReLU 激活单元的深度神经网络生成的数据的样本复杂度,并在权重的特定先验分布下建立了同时独立于宽度和线性深度的样本复杂度界限。
Mar, 2022
本文提出了一种新型的指标 Eloss 以及一种新的训练策略,以增强感知模型的异常检测性能。Eloss 是基于感知模型信息压缩层的设计得出的,并以信息传输过程的两个期望为基础:信息量的稳定变化和信息熵的持续降低。实验结果表明,Eloss 在出现异常数据时可以偏离标准值 100 多倍,并针对相似但不同类型的异常生成独特的值。
Feb, 2023