- 超参数化领域中 “重要性加权” 估计器的离群错误的尖锐分析
我们研究了一个过参数化的高斯混合模型,结合了 “重要性权重”,对一个插值解的内分布和外分布的测试误差进行了严格的分析,发现了最坏情况下分布偏移鲁棒性和平均准确度之间的新的权衡关系。
- ICML规范化高维模型的表示点选择
本研究提出了一种名为高维表现者的新型基于样本的解释方法,可用于解释正则化高维模型的预测结果;同时也进一步研究了低秩模型在协作过滤中的应用,并对三个二分类数据集和两个推荐系统数据集的实证表现进行了研究。
- 基于预训练模型的等变少样本学习
论文研究了利用预训练模型进行转移学习的方法,提出了一种用于解决等变性神经网络训练问题的只利用关键权重的算法,并在各种应用和模型上进行了验证。
- 从头到尾传递知识:长尾分布下的不确定性校准
本论文研究如何从长尾分布的样本中训练模型并校准,利用知识转移和重要性权重估算方法,将尾部类别的目标概率密度适应地从头部类别中传输,实现了长尾分布校准,并在多个数据集上证实了该方法的有效性。
- ICLR通过指数倾斜方法,从训练数据视角理解新任务
通过重新赋值训练数据的权重,我们提出了一种基于指数倾斜假设的分布转移模型,用于为目标任务学习训练数据的重要性权重,以最小化有标签的训练数据集与无标签的目标数据集之间的 KL 散度,并应用到水鸟和品种基准测试中展示了方法的有效性。
- 多智能体强化学习中的记忆和遗忘经验回放
将 Remember and Forget for Experience Replay(ReF-ER)算法扩展到了多智能体强化学习(MARL)领域,并在 Stanford Intelligent Systems Laboratory(SIS - 通过逐坐标优化理解深度对比学习
该研究探讨了对比学习的统一形式化方法,并提出了一种新的对比损失函数形式。其中,通过引入 pairwise importance 权重,最大化学习表达对比性,而最小化学习对相似表示的强调度。通过将这种方法应用于 CIFAR10,STL-10 - ICLR路径积分采样器:一种用于采样的随机控制方法
提出了一种基于 Schrödinger 桥问题的新算法 Path Integral Sampler (PIS),可以从未经规范化的概率密度函数中提取样本,其以随机最优控制问题的形式建模,其中控制意味着基于神经网络的不规则扩散过程,通过计算路 - ICLR协变量偏移下的 PAC 预测集
论文提出了一种新的、能够在存在协变量转移情况下构建可能准确的预测集的方法,该方法重点关注源分布与目标分布之间的协变量转移,假设给定了编码训练样本概率变化的重要性权重,从而实现了不确定性的量化。
- ICMLTREX:基于树集成的描绘点解释
本文介绍了一种基于 REPresenter Point 框架的解释系统 TREX,它通过构建与特定树集成结构相对应的核来定义全局或局部的重要性,该系统的代理模型准确地近似了树集成,其重要性权重在数据集调试方面比以前的最新技术更加有效。
- 离线评估和策略优化的极小极大值区间
该研究使用价值函数和边际重要性权重研究了最小极小化方法在离线策略评估中的应用,结合两种不同风格的方法,提出了一个特殊类型的双重稳健方法,解决了偏见问题,同时还探索了其在数据覆盖不足的离线策略优化中对探索和开发的影响。
- 适用于非政策评估的极大极小权重和 Q 函数学习
本文探讨了强化学习中的离线评估问题,提出了两种新的重要比率估计器,并给出了样本复杂度分析和渐进优化等结果。
- 收缩双重鲁棒离线评估
提出了一个基于重要性权重收缩的新框架,用于设计背景依赖赌博机的估算器,得到了三个估算器,包括一个新的收缩估算器和第一个用于组合行动集的收缩估算器,并在基准问题中进行了广泛的实验,表明该估算器高度适应性,并且通常优于现有的方法。
- ICLR标签偏移下的领域自适应正则化学习
提出了一种基于正则化的学习算法 Regularized Learning under Label shifts (RLLS),该算法能够校正源域和目标域之间标签分布的转移,通过估计带权重的源目标数据并训练分类器,并以此推导出分类器在目标域的 - CVPR无任务持续学习
探究如何将连续学习转变成在线学习的系统,可用于自我监督学习和机器人避免冲突,该系统采用 “内存感知神经元” 的方法更新关键性权重。
- 领域自适应迁移学习的专家模型
本文研究了传递学习的有效性,并发现原先认为的更多的预训练数据不一定就能提高模型性能,而是需要审慎选择预训练数据。同时,作者提出了基于目标数据集计算重要性权重的领域自适应传递学习方法,并在多个细粒度分类数据集上取得了最先进的结果。
- 在线自适应方法、普适性和加速
本文针对凸无约束优化问题提出了一种新方法,通过一种自适应学习率规则和线性耦合两个序列的方式,利用重要权重和自适应在线学习算法的思想实现了对光滑目标、非光滑一般情况和随机优化的加速收敛。实证分析表明了本方法在上述场景中的适用性并证实了我们的理