使用可微分边界树学习深度最近邻表示

Feb, 2017

使用可微分边界树学习深度最近邻表示

Learning Deep Nearest Neighbor Representations Using Differentiable Boundary Trees

Daniel Zoran, Balaji Lakshminarayanan, Charles Blundell

TL;DR该论文提出了一种称为 differentiable boundary tree 的新方法，它可以学习深度 kNN 表示，以便于构建高效的、易于解释的树。

Abstract

nearest neighbor (kNN) methods have been gaining popularity in recent years in light of advances in hardware and efficiency of algorithms. There is a plethora of methods to choose from today, each with their own advantages and disadvantages. One requirement shared between all kNN based

nearest neighbor knn methods differentiable boundary tree deep knn representations efficient trees

发现论文，激发创造

深度 k 近邻：朝着自信、可解释和鲁棒的深度学习发展

本研究针对深度学习在对抗性环境下的鲁棒性和预测不可解释性等问题，通过将 k-NN 算法与深度学习结合，提出了一种名为 DkNN 的混合分类器，它可以为输入数据提供信心估计和人类可解释的预测解释。实验证明，DkNN 算法可以准确识别模型外部的输入，同时提供直观和有用的模型失败解释。

Mar, 2018

DNNR: 差分最邻近回归

本研究提出一种名为 Differential Nearest Neighbors Regression (DNNR) 的新方法，通过在训练期间估计局部梯度并在推断期间使用估计的梯度执行 n 阶泰勒逼近。在超过 250 个数据集的大规模评估中，我们发现，DNNR 在保持 KNN 的简单性和透明度的同时，表现与最先进的梯度提升方法和 MLP 相当，允许我们导出理论误差界并检查失败，从而在需要 ML 模型透明度的时代提供了绩效和可解释性之间的良好平衡。

May, 2022

多层梯度提升决策树

提出了一种名为 mGBDTs 的多层 GBDT 森林算法，通过堆叠多层回归 GBDTs 作为其构建块，探索学习分层表示能力。该模型可以通过变体的跨层目标传播进行联合训练，无需反向传播或可微分性，并在性能和表示学习能力方面得到了证实。

May, 2018

通过进化树网络学习回归的简明表示

研究一种学习针对回归问题的可解释表示的方法，将特征表示为由神经网络中常用的激活函数和其他基本函数组成的多类型表达树的网络。通过梯度下降来训练可微分特征，并利用特征在线性模型中的性能来加权每个表示子组件的变化率。该方法可以产生比梯度提升更小、在 100 个开源回归问题上的平均测试得分更高的表示。

Jul, 2018

神经回路的最近邻代表

通过建立神经网络与最近邻表示之间的强耦合，我们在深度 - 2 阈值电路上提供了明确的构建，以及表示所需位数的明确界限。

Feb, 2024

深度神经决策树

本研究提出了 Deep Neural Decision Trees（DNDT）—— 由神经网络实现的树模型，可以用于处理表格数据，DNDT 具有自解释性和自剪枝功能。

Jun, 2018

用于精确最近邻搜索的随机划分树

通过分析三种 k-d 树的变体，我们确定了一个简单的潜在函数，该函数能直接反映数据集和查询点难度，并在正增长测度和主题模型中限制了该潜在函数。

Feb, 2013

自适应神经树

本文提出了一种自适应神经决策树算法，该算法将表示学习技术嵌入决策树的边缘、路由函数和叶节点中，并采用基于反向传播的训练算法自适应扩展架构，实现了基于条件计算的轻量级推理、层次化特征分离以及适应训练数据集规模和复杂度的机制。

Jul, 2018

使用概率四叉树和深度置信网络学习稀疏特征表示

本文提出了一个新颖的基于概率四叉树和深信度网络的稀疏特征表示分类框架，用于手写数字的分类，在 MNIST 和 n-MNIST 数据集上，取得了有希望的结果，并显著优于传统的深信度网络。

Sep, 2015