ICMLMay, 2022

DNNR: 差分最邻近回归

PDF
TL;DR本研究提出一种名为 Differential Nearest Neighbors Regression (DNNR) 的新方法，通过在训练期间估计局部梯度并在推断期间使用估计的梯度执行 n 阶泰勒逼近。在超过 250 个数据集的大规模评估中，我们发现，DNNR 在保持 KNN 的简单性和透明度的同时，表现与最先进的梯度提升方法和 MLP 相当，允许我们导出理论误差界并检查失败，从而在需要 ML 模型透明度的时代提供了绩效和可解释性之间的良好平衡。
发现论文，激发创造
  • 深度 k 近邻：朝着自信、可解释和鲁棒的深度学习发展

    本研究针对深度学习在对抗性环境下的鲁棒性和预测不可解释性等问题，通过将 k-NN 算法与深度学习结合，提出了一种名为 DkNN 的混合分类器，它可以为输入数据提供信心估计和人类可解释的预测解释。实验证明，DkNN 算法可以准确识别模型外部的输入，同时提供直观和有用的模型失败解释。

    Mar, 2018

  • 双神经网络回归是一种半监督回归算法

    采用集成学习方法和循环约束的半监督 TNNR 神经网络回归算法能够在未标注数据的情况下利用已标注的锚点数据进行训练，预测两个不同数据点的目标值之间的差异以提高回归问题预测精度。

    Jun, 2021

  • 双神经网络优化的 k 最近邻回归

    双神经网络回归通过训练预测回归目标之间的差异而不是目标本身。该算法通过集成未知数据点的目标与多个已知锚点的差异来解决原始回归问题，其中锚点选择为未知数据点的最近邻，证明在小到中等规模的数据集上表现优于神经网络和最近邻回归。

    Oct, 2023

  • 深度 K 最近邻模型的鲁棒性

    本文探讨了一种结合了 k 最近邻算法和深度学习的模型 - Deep k-Nearest Neighbor（DkNN）来提高模型的抵抗 Adversarial Example 威胁，同时提出了一种基于梯度下降的攻击方法，能够有效地攻击 DkNN 模型。

    Mar, 2019

  • K-NN 和 DNN 的标签噪声抗性取决于其浓度

    本研究着重研究了 KNN 和 DNN 在存在标记噪声的情况下的分类性能，提出了逼近于 KNN 的 DNN 误差表达式，证明了 DNN 在某些类型标签噪声情况下的惊人鲁棒性，并说明了噪声越集中性能下降越明显的重要因素。

    Mar, 2018

  • DNN 或 k-NN：泛化 vs. 记忆的问题

    本文探讨了深度神经网络和各种经典分类器之间的关系，研究发现 k-NN 是唯一能够完美记忆数据的分类器，其余分类器的记忆只有在网络的最后几层。研究还表明，神经网络的记忆和泛化相容互补。

    May, 2018

  • 最近邻抵抗随机噪声标签

    通过研究在随机噪声情况下的 k - 最近邻（k-NN）一致性，提出了一种鲁棒的 k-NN 方法 (RkNN)，在处理噪声标签时具有一定的纠错和分类能力。

    Jul, 2016

  • 小农户决策支持系统的深度神经网络玉米产量预测模型

    通过设计深度神经网络回归器（DNNR），提出了一种新颖的 DNNR 模型，用于解决天气和土壤变量之间的非线性相互作用问题，同时引入了平均绝对平方根误差（ARSE）指标以综合评估预测准确性，在与随机森林回归器（RFR）和极端梯度提升回归器（XGBR）进行比较后，DNNR 在处理突发的气候和土壤变化数据时表现最佳，进一步的分析揭示了天气和土壤变量之间存在着强烈的相互作用。

    Jan, 2024

  • 一种使用非负样本的 k-NN 分类快速易懂的回归技术

    本文提出了一种廉价的方法来学习有效的差异度量函数，该函数可用于 $k$- 最近邻分类。方法通过仅学习标记对象的变换来提高分类准确性，同时保持查询对象在原始坐标系中不变。通过解决标准岭回归问题，可以有效地学习变换，且速度比现有方法快两个数量级以上。此外，该方法消除了优化 “负” 对象对的开销，并具有减少数据中心极性的理论基础。

    Jun, 2018

  • 通过 Delaunay 细化实现活动最近邻回归

    基于最近邻回归的主动函数逼近算法，使用 Voronoi-Delaunay 框架划分空间和选择查询点，解决了 DEFER 中空间划分策略的限制，并在计算效率和理论可停性方面提出了改进。实验结果表明，在闭形式函数和真实场景中，ANNR 的表现优于基准。

    Jun, 2022