Dec, 2023

关注、蒸馏和表格化：面向实用的基于神经网络的预取

PDF
TL;DR提出了一种基于表格化的新方法，通过将注意力机制模型的昂贵矩阵乘法转化为快速查找表的层次结构，显著降低了模型复杂性和推理延迟，并在保持预测准确性的情况下进行了内存访问预测。该方法在性能方面超过了基于规则的最先进预取器，且与基于神经网络的最先进预取器相比，具有更低的预取延迟，从而实现了速度的提升。
attention-based neural networksdata prefetchingtabularizationmemory access predictionlatency reduction
发现论文，激发创造
  • PaCKD: 模式聚类知识蒸馏用于压缩内存访问预测模型

    使用模式聚类知识蒸馏方法，我们提出了 PaCKD，这是一种压缩内存访问预测模型的方法，通过为每个分区训练大型模式特定的教师模型，然后从这些训练好的模式特定教师中提取知识训练一个单一轻量级的学生模型，以在保持预测性能的同时实现模型大小的 552 倍压缩。

    Feb, 2024

  • 增强蒸馏技术的表格数据快速准确简单模型

    FAST-DAD 是一种能够将复杂的模型集合精简为促进部署的个体模型的方法，它基于数据增强策略，并使用基于自注意力的伪似然估计器的吉布斯采样。在 30 个跨越回归和二元 / 多类分类任务的数据集上，FAST-DAD 精炼方法得到的个体模型比在原始数据上进行标准培训获得的模型更快而且更准确，可以超过 AutoML 工具如 H2O / AutoSklearn 生成的集成预测器 10 倍以上。

    Jun, 2020

  • 图像分类中的 DARTS 微调

    我们提出了一种使用固定操作进行微调的方法，改进了现有方法并在多个数据集上取得了更好的分类准确性，同时在计算资源上取得了一个很好的折衷。

    Jun, 2020

  • 高效学习排序的神经网络压缩模型

    本研究介绍了一种将蒸馏、修剪和快速矩阵乘法相结合的方法，对于从回归树集合中学习的神经网络进行了评分时间的加速，在两个公共学习排名数据集上进行的全面实验表明，采用我们的新方法产生的神经网络在效率 - 效用平衡的任何点上与基于树的集合竞争对手具有相同的排名质量，并提供高达 4 倍的评分时间加速，而不影响排名质量。

    Feb, 2022

  • 记忆数据集：为神经网络提炼可寻址的记忆

    提出一种基于数据集精简的算法，通过共享数据集的压缩表示生成训练样本以迅速重新训练神经网络，进而实现数据集的总体压缩和连续学习。

    Jun, 2022

  • 学习内存访问模式

    利用深度学习解决内存性能瓶颈问题，采用神经网络进行内存预取，取得更高的准确率和召回率。

    Mar, 2018

  • 综合翻译聚焦特征解释：从表格数据中获取预测信号

    通过对注意力机制进行研究并将其建模为从 Gumbel-Softmax 分布中采样的潜在变量，我们提出了 InterpreTabNet，该模型通过 KL 散度正则化实现了注意力掩码中不同概念的学习，从而改善了预测结果的解释性和预测关键要素的确定性，并结合大型语言模型和提示工程方法来帮助解释我们模型中特征之间的相互依赖关系。在真实数据集上的综合实验表明，InterpreTabNet 在解释表格数据方面优于先前的方法，并同时保持了较高的准确性。

    Jun, 2024

  • 通过行注意力和对比预训练，改进表格数据的神经网络 (SAINT)

    本文提出了一种基于深度学习的表格数据处理模型 SAINT，该模型利用注意力机制同时考虑行和列信息，并使用先进的嵌入方法以及自监督预训练方法，实现了在有限标签数据下取得了与传统机器学习方法（包括 XGBoost、CatBoost 和 LightGBM）相当的准确率。

    Jun, 2021

  • TabR: 发掘检索辅助的表格深度学习的能力

    通过逐步增加一个与诸多表格检索模型类似的注意力检索组件，TabR 模型在一组公开基准测试中表现出最佳平均性能，成为几个数据集上的最新技术标准，甚至在最近提出的 “GBDT 友好” 基准测试中超越了 GBDT 模型。

    Jul, 2023

  • 用廉价卷积进行蒸馏

    提出了一种通过结构模型蒸馏实现神经网络内存降低的方法，使用注意力转移，并提供了残差网络的 Pareto 曲线和表格，证明这种蒸馏方法在极少损失准确率的情况下能够显著节省内存并提升学生网络性能。

    Nov, 2017