采用集成学习方法和循环约束的半监督 TNNR 神经网络回归算法能够在未标注数据的情况下利用已标注的锚点数据进行训练，预测两个不同数据点的目标值之间的差异以提高回归问题预测精度。

Jun, 2021

本研究提出一种名为 Differential Nearest Neighbors Regression (DNNR) 的新方法，通过在训练期间估计局部梯度并在推断期间使用估计的梯度执行 n 阶泰勒逼近。在超过 250 个数据集的大规模评估中，我们发现，DNNR 在保持 KNN 的简单性和透明度的同时，表现与最先进的梯度提升方法和 MLP 相当，允许我们导出理论误差界并检查失败，从而在需要 ML 模型透明度的时代提供了绩效和可解释性之间的良好平衡。

May, 2022

该研究提出了一种增强的、基于加权的正则化 KNN 双支持向量机，通过加权样本、增加稳定项和结合多距离 KNN 算法来解决 KNN-based TSVM 分类器的高计算成本和过拟合等问题，实验结果表明在分类准确度和计算时间上均有显著提高，最大加速比可达 14 倍。

Jun, 2019

本研究针对深度学习在对抗性环境下的鲁棒性和预测不可解释性等问题，通过将 k-NN 算法与深度学习结合，提出了一种名为 DkNN 的混合分类器，它可以为输入数据提供信心估计和人类可解释的预测解释。实验证明，DkNN 算法可以准确识别模型外部的输入，同时提供直观和有用的模型失败解释。

Mar, 2018

引入张量神经网络（TNN）来处理非参数回归问题，通过其独特的子网络结构，有效地促进变量分离，从而提高复杂未知函数的近似性；与传统的前馈网络（FFN）和径向基网络（RBN）相比，TNN 在近似准确性和泛化能力方面表现优异，尽管参数规模相似；我们的方法的一个关键创新是将统计回归和数值积分集成到 TNN 框架中，从而实现了与回归函数相关的高维积分的高效计算；此进展的意义扩展到更广泛的应用领域，特别是在需要精确高维数据分析和预测的场景。

Jun, 2024

研究了利用自然信号的自相似性进行非局部方法，提出了一种对 KNN 选择规则进行连续确定性松弛的方法，即通过温度参数逐渐接近零将原始 KNN 保持为极限，利用提出的神经最近邻块 (N3 块) 用于现代神经网络建筑中，并展示了其在图像恢复等任务中的有效性。

Oct, 2018

本文介绍了一种用于多目标回归的集成方法，通过现有目标的随机线性组合构建新的目标变量，并与 RAkEL 和一系列最新的多标签分类算法进行比较。在 12 个多目标数据集上的实验证明，该方法表现显著优于单一模型方法和随机森林方法。

Apr, 2014

本文提出了一种廉价的方法来学习有效的差异度量函数，该函数可用于 $k$- 最近邻分类。方法通过仅学习标记对象的变换来提高分类准确性，同时保持查询对象在原始坐标系中不变。通过解决标准岭回归问题，可以有效地学习变换，且速度比现有方法快两个数量级以上。此外，该方法消除了优化 “负” 对象对的开销，并具有减少数据中心极性的理论基础。

Jun, 2018

该研究探讨在使用 Imagenet 预训练特征空间的情况下，最近的自我监督深度方法是否确实优于最近邻方法进行异常检测。通过实验证明，仅使用简单的最近邻方法在准确度，few shot 泛化，训练时间和噪声稳健性方面均优于自我监督方法，同时在图像分布方面做出较少的假设。

Feb, 2020

本文介绍了一种组合 DNN、XGBoost 和差异性计算技术的集成方法，用于估计预测的不确定性、提高准确性并提供预期变化的区间，其计算简单，适用于小数据集且性能提升显著，且模型的预测区间可平均包括实际值的 71％和 78％。

Oct, 2022