- 连续状态空间中的分布可靠随机控制的统计学习
该研究论文介绍了一个分布鲁棒的随机控制范式,能够容纳对分布内可能的自适应敌对扰动的噪声进行考虑,在给定的模糊集合内。通过对两种敌对模型的研究,我们揭示了在不同的动态规划方程下的最优有限样本极小化率,以实现对连续状态下健壮价值函数的统一学习, - MM基于双规范化的联邦离线策略优化
提出了一种名为 DRPO 的离线联邦策略优化算法,通过使用双重正则化来解决离线联邦强化学习中的两级分布变化问题,实现了分布式智能决策的显著性能提升。
- ICLR组成保守主义:离线强化学习中的传导式方法
离线强化学习中的分布变化问题通过 COmpositional COnservatism with Anchor-seeking (COCOA) 方法得以解决,该方法在复杂的输入空间中寻找共享分布点和差异,从而提高算法性能。
- 机器特征与标签的无关量度探索
面对分布变化的复杂机器遗忘问题,特别关注非均匀特征和标签删除带来的挑战,本研究提出了一种基于影响函数和分布独立原理的新方法,以解决隐私保护和模型性能之间的平衡,通过在多样分布下维护模型的性能和适应性,确保数据去除的高效性及动态调整模型以保持 - 基于语言模型的嵌入方式测量文本的分布变化优势
利用大型语言模型(LLMs)生成的嵌入向量,我们提出了一种基于聚类的算法来测量文本数据的分布漂移,并通过实验证明其对于数据漂移的敏感性比其他嵌入方法更高。我们还提出了数据漂移敏感性作为衡量语言模型的重要评估指标,并从 18 个月的实际部署中 - 几何校准的 DRO: 通过自由能量 implication 对抗过于悲观
通过灵活利用数据的几何形态与最小风险优化算法相结合,本研究提出了一种新型的校准方法 —— 几何校准分布鲁棒优化 (Geometry-Calibrated DRO,GCDRO),该方法减轻了噪声样本的影响,理论分析和广泛实验证明了其相较于常规 - 能否信任你的模型评估?通过合成测试数据提升模型评估
评估机器学习模型在多样化和少数群体上的性能对于确保公平和可靠的实际应用至关重要。本研究引入了一种深度生成建模框架 3S Testing,通过为小型子群生成合成测试集并模拟分布偏移,促进模型评估。实验证明,3S Testing 在估计少数群体 - 时代分割
研究中提出了两种新的决策树分裂准则,可以将环境或逐时信息纳入基于树的模型中,以找到在数据的所有不联通时期中都是最优的分裂点,而不是整个数据集的最优设置。
- 一款用于生成和操作迷宫数据集的可配置库
为了系统地研究机器学习模型对分布变化的响应,我们提出了「maze-dataset」,这是一个生成、处理和可视化迷宫求解任务数据集的全面库,支持多种输出格式和工具,保证在研究应用中具有多样性和适应性。
- 面向未知领域的有效语义 OOD 检测:基于领域泛化的视角
语义领域间异常检测方法同时解决多个分布转变,并通过提出的领域泛化和异常检测正则化策略,在三个领域泛化基准测试中展示了其对于异常检测性能的卓越表现以及相当的 InD 分类准确度。
- 频率感知的多模态预训练生物信号掩码自编码器
利用多模式生物信号的多模式信息对人的身体和心理状态进行全面建模具有重要意义,但多模式生物信号往往在预训练和推断数据集之间存在明显的分布变化,我们提出了一种频率感知的掩码自编码器(bioFAME),它在频率空间中学习参数化生物信号的表示,并利 - 大型状态空间下的分布鲁棒基于模型的强化学习
提出了一种基于高斯过程和最大方差缩减算法的模型基础方法,用于学习多输出名义转移动力学,克服了强化学习中的若干挑战,并在分布移位方面展示了算法的鲁棒性以及样本数量上的优越性。
- 基于多头神经网络的环境多样性用于不变性学习
提出了一个包含多头神经网络的不变学习框架,名为 EDNIL,用于吸收数据偏差并提高模型对分布转变的鲁棒性。该算法无需先前环境知识或对预训练模型的强假设,并具有与变体和不变特征的性质研究相连接的理论基础。实验证明,使用 EDNIL 训练的模型 - 鲁棒贝叶斯满足
分布变化、鲁棒满意度、上下文贝叶斯优化、RoBOS 和嘈杂黑盒优化是该研究论文的主要关键词和研究领域。
- 自动驾驶汽车中从模拟环境到真实环境的驾驶观察模型可迁移性研究
研究通过模拟数据进行驾驶员观察模型的训练,并探索将这些模型转移到真实自动驾驶场景中的可行性,结果显示模型的识别质量明显下降,存在模型转移的挑战。
- 最小误差熵准则的鲁棒性再探:一项迁移学习案例研究
本文旨在探讨最小误差熵准则 (MEE) 在非高斯噪声情况下的鲁棒性,并将其运用在实际的迁移学习回归任务中,结果表明仅通过将 MSE 损失替换为 MEE,我们就能够在 fine-tuning 和线性探测等基本的迁移学习算法上取得与最先进的算法 - 文本分类任务中传统的外部分布检测方法的基准测试
本文着重介绍了现有方法在处理 NLP 中 OOD 检测时的局限性,对八种常见的 OOD 检测方法进行了评估并分析了其存在的问题,发现现有方法对于各类型分布偏移的检测敏感性不够,在领域内文本中存在令人困惑的测试场景,而需要开发更有效的 OOD - 方差减少的分布鲁棒 Q 学习的样本复杂性
本论文提出了两种模型无关的算法,分别是分布鲁棒的 Q-learning 及其方差缩减的版本。这些算法可在处理分布移位时有效地学习强大的策略。在一系列数值实验中,这些算法的理论发现和效率得到了证实。
- ACL预训练语言模型对于领域外探测几乎完美是否需要微调?
本研究探究了直接利用预训练语言模型进行 Out-of-Distribution 检测的有效性,并证明了其近乎完美的检测性能,同时揭示了 Fine-tuning 和其在 ID 精度与 OOD 检测性能之间的平衡作用。
- 不变风险最小化的一致性推断
发展了一种方法来获得无分布预测区域,以描述不同环境下数据的分布差异,应用于机器学习中的无变异风险最小化(IRM)模型,基于加权遵从得分构造自适应遵从区间,并证明其条件平均值在某些条件下,通过模拟实验和实际案例的应用证明方法的有效性。