学习加权表示以实现跨设计通用化
本篇论文研究机器学习模型在不同测试分布的情况下表现不佳且过度估计它们的表现的问题,并提出一种基于领域不变性预测模型的方法来更好地估计模型在转移学习领域的性能,从而实现了领域自适应和对给定模型在分布转移情况下进行准确的目标误差估计,并可以用于模型选择、决定早期停机和错误检测。
Jul, 2020
本文主要研究基于深度神经网络的方法在训练数据与测试数据分布不一致时的性能问题,并通过学习训练样本的权重以消除特征之间的依赖关系,从而提高深度模型的性能。通过在多个分布泛化基准测试上的实验,与同类研究相比,我们的方法取得了很好的效果。
Apr, 2021
综述研究了图学习中的分布转变问题及解决方法,将现有的图学习方法分为图领域适应学习、图越域学习和图持续学习三种关键场景,详细讨论了这些场景下的现有进展,并对该领域进行了潜在应用和未来研究方向的分析。
Feb, 2024
监督的公平感知机器学习在面临数据分布从源领域到目标领域的变化时,是一个新兴的领域,解决了在实现公正和无偏预测方面的挑战。本综述提供各种类型的分布变化的总结,并全面调查了现有方法,重点介绍了文献中常用的六种方法。此外,本综述列出了可用于经验研究的公开数据集和评估指标。我们进一步探讨了与相关研究领域的相互连接,讨论了重大挑战,并确定了未来研究的潜在方向。
Feb, 2024
在这篇研究论文中,我们研究了一个隐藏变量引起的类别分布偏移的情景,针对零样本分类器在训练课程上学习的表示被应用于新的未见类别的情况,我们引入了一种算法用于学习在这种类别分布偏移下具有鲁棒性的数据表示。我们展示了我们的方法,将分层数据抽样与越域泛化技术相结合,能够改进在模拟和真实数据集中对多样的类别分布的泛化能力。
Nov, 2023
从信息理论的角度,本文探讨了机器学习模型在实际应用中遭遇的数据偏移问题,比较了近期领域泛化与公正分类研究中一些最有前途的目标。根据我们的理论分析和实证评估,我们得出结论,模型选择过程需要根据观察到的数据、纠正因素和数据生成过程的结构进行认真考虑的指导。
Jun, 2021
本文提出了一种算法,用于校准模型预测并考虑协变量转移的情况,采用重要性加权法纠正训练分布与实际分布的差异,并通过领域适应的方法实现两个分布尽可能一致, 实证结果表明,该方法在存在协变量转移时优于现有的校准方法。
Feb, 2020
本文研究了机器学习中的一个重要研究主题:协变量转移。我们表明这个领域的方法都可以归为信息几何的范畴,并且我们提出的方法可以更高效地进行参数搜索和更好地适应数据,结果比现有方法好。
Apr, 2023
本文研究了从记录的上下文、决策和结果中估计单个患者对替代药物的反应的个体层面因果效应的估计,并给出了基于不同治疗组之间的距离度量的误差的概括界限,引导了表示学习算法的开发,该算法通过规范化表示的诱导治疗组距离,鼓励治疗组之间信息的共享来最小化误差的界限。最后,对真实和合成数据的实验评估表明了所提出的表示架构和规范化方案的价值。
Jan, 2020
训练模型以适应由类先验或群组先验的分布变化引起的偏移问题并不容易,我们提出一种极其轻量级的事后方法,通过在验证集上求解约束优化问题并应用于模型,从而在测试时尽量减小选定目标分布周围的分布鲁棒性损失,并带有可证明的保证和实证的结果证明,表明我们的方法非常适用于分布鲁棒的事后分类器。
Sep, 2023