ICLRJan, 2023

利用重要性权重进行子集选择

PDF
TL;DR该研究提出了一种基于重要性抽样的子集选择算法，能够在批处理环境中提高模型训练的性能，在可用数据批次中选择样本。该算法在七个公共数据集上的性能明显优于其他子集选择算法，并且在标签信息不可用的主动学习环境中具有竞争力。研究还对其重要权重方法进行了初步的理论分析，证明了泛化和采样率的限制。
subset selection algorithmimportance samplingmodel trainingbatch settingactive learning
发现论文，激发创造
  • 隐私放大通过重要性抽样

    通过重要性抽样作为预处理步骤来检验数据子抽样的隐私增强特性，我们发现异质性抽样概率可以同时提供更强的隐私保护和更好的效用，并以保持子样本大小的方式评估基于重要性抽样的隐私增强在 k 均值聚类问题上的隐私、效率和准确性。

    Jul, 2023

  • Less Is Better: 通过影响函数进行无权数据子采样

    本研究提出了一种新的非加权数据子采样（UIDS）方法，并证明通过我们的方法获取的子集模型可以优于完整集模型。同时，我们开发了一种概率取样方案，以控制接近经验分布的所有分布的最坏情况风险，实验结果证明了我们方法在文本分类，图像分类，点击率预测等各种任务中优于现有的子采样方法。

    Dec, 2019

  • 黑盒重要性采样

    本文研究黑盒重要性抽样方法，可计算从任何未知提议或黑盒机制生成的样本的重要性权重，允许我们使用更好更丰富的提议来解决困难问题，并提高了估计精度。

    Oct, 2016

  • 一种基于加权 K-Center 算法的数据子集选择

    基于深度学习的子集选择方法，通过结合高不确定性的边缘采样和多样性聚类方法的加权和来计算子集，并通过并行算法在大数据集上取得了类似或更好的性能表现。

    Dec, 2023

  • 重要性加权演化策略

    本研究提出改进新型的进化策略算法 - 重要性加权进化策略（IW-ES），通过重要性采样技术来解决现有进化策略算法数据效率较低的问题，在保持原始方法的可扩展性的同时，可以在每个经验批次上执行多个更新，为高效生成强化学习策略算法提供了新思路。

    Nov, 2018

  • 重要性加权主动学习

    提供了一个实用的、统计上连贯的方案，可在通用损失函数下主动学习二分类器，该算法使用重要性加权来纠正抽样偏差，并通过控制变量来给出严格的标签复杂性界限，实验表明，该方法减少了实现许多学习问题的良好预测性能所需的标签复杂性。

    Dec, 2008

  • 机器学习中的重要度加权研究简述

    通过密度比重方法，本研究论述了重要性加权在统计学和机器学习中的广泛应用及其与相关研究的关联。

    Mar, 2024

  • 强化学习中的样本重要性加权转移

    本篇论文提出了一种基于模型的技术，在传输体验样本时自动估算每个样本与给定目标任务的关联性，以及在 RL 问题中使用重要性权重来解决负迁移问题，模型的结果经实验证明比目前最新的方法具有更好的学习性能和抗差能力。

    May, 2018

  • 广义多重重要性抽样

    本研究在多个 proposal 分布下建立了一个新的 Importance Sampling 方法，支持多个 proposal 下的权重分配并可以通过优化 proposal 分布的选择来提高算法效率。

    Nov, 2015

  • 在线重要性权重感知更新

    本文论述了在基于梯度的优化方法中，如何处理样本的重要性权重对优化过程的影响，提出了一种基于重要性权重的更新方法，并在在线主动学习中取得了显著的实验效果。

    Nov, 2010