学习需要学习的数据

ICLRFeb, 2017

Learning What Data to Learn

Yang Fan, Fei Tian, Tao Qin, Jiang Bian, Tie-Yan Liu

TL;DR本文提出了一种基于深度强化学习框架的自适应数据选择策略，名为神经数据过滤（NDF），它利用神经网络自适应地选择和过滤重要数据实例，以最大化未来的累计奖励，并在各种神经网络建模和应用中取得了与标准随机梯度下降过程相当的准确度。

Abstract

machine learning is essentially the sciences of playing with data. An adaptive data selection strategy, enabling to dynamically choose different data at various training stages, can reach a more effective model i

machine learning data selection reinforcement learning neural network stochastic gradient descent

发现论文，激发创造

通过可微分奖励优化数据使用

通过训练适应性评分器的机器学习模型，以及使用可学习的函数对训练数据进行评分，在完成整个训练过程之前就能量化数据的影响，提出了一种名为 Differentiable Data Selection (DDS) 的强化学习方法。该方法在机器翻译和图像分类等任务中提供了显著的计算优势和一致的效果提升

Nov, 2019

数据过滤网络

通过构建数据过滤网络，该论文研究了大训练集上数据筛选的问题，并基于该网络构建了新的图像 - 文本数据集，为状态 - of-the-art 模型训练提供了高性能数据集，同时还释放了可从公开数据从头训练高性能数据过滤网络的新的 200 亿样本数据集，以促进数据集设计的进一步研究。

Sep, 2023

深度强化学习中的动态稀疏训练自动降噪

该研究提出了一种新的强化学习方法，自动过滤噪音输入信息，该方法使用动态稀疏训练原理和各种深度强化学习算法，可有效识别出与任务相关的输入信息，并取得了比传统算法更好的性能。

Feb, 2023

贝叶斯数据选择

将数据选择作为决策问题，并通过导出相应的贝叶斯准则为半监督学习中的自我训练等问题提供了贝叶斯最优选择数据的方法。根据模拟和真实数据的实证评估，我们进一步展示了该准则在广义线性模型、半参数广义加性模型和贝叶斯神经网络上减轻了确认偏差的问题。

Jun, 2024

基于统计模型的主动学习

本文回顾了如何使用最优数据选择技术来优化一些类型的机器学习算法，包括前馈神经网络、高斯混合模型和局部加权回归，并探讨了此方法如何降低训练数据量，提高模型性能。

Mar, 1996

教育数据科学的深度学习

深度学习应用于教育数据科学的调查和讨论，主要涉及深度神经网络、知识追踪模型和自动情感与行为检测器等领域。

Apr, 2024

针对奖励转移的稳健决策导向学习

本文提出了一种强化学习算法，称为 “鲁棒的决策模型算法”，该模型能够同时满足奖励函数的变化和期望回报的最大化。实验证明该算法显著提高了智能体在奖励函数变化时的鲁棒性，同时不降低总体回报。

Apr, 2023

深度神经决策森林中的决策过程可视化

通过将决策树和深度表示学习相结合，深度神经决策森林 (NDF) 在各种视觉任务上取得了卓越的性能。本文在分类和回归问题中首先跟踪了这个模型的决策过程并可视化了显着性图，以了解输入的哪个部分对其影响更大。然后将 NDF 应用于多任务坐标回归问题，并演示了路由概率的分布，这对于解释 NDF 尤其重要，但对于回归问题尚未显示。

Apr, 2019

如何训练可微分滤波器

本文研究不同类型的过滤算法，特别是可微分的过滤算法对于机器人应用中基于状态估计的决策制定和任务执行的优势，并比较了这些不同方法的表现。

Dec, 2020

可扩展的神经数据服务器：一种用于迁移学习的数据推荐器

本论文提出了一种大规模的搜索引擎（Scalable Neural Data Server），它可以理论上索引数千个数据集以提供相关的机器学习数据给最终用户，通过使用中介数据集表示数据源和下游任务，使得 SNDS 用户产生的计算成本随着新数据集的添加而保持不变，并通过验证发现，SNDS 推荐的数据可以提高基线模型的性能。

Jun, 2022