利用已知信息增强简单模型

ICMLMay, 2019

Enhancing Simple Models by Exploiting What They Already Know

Amit Dhurandhar, Karthikeyan Shanmugam, Ronny Luss

TL;DR本文提出了一种新方法 SRatio，可利用复杂模型（如深度神经网络、增强树、随机森林）的信息对训练数据集进行重新加权，以增强性能较低的简单模型，同时整合中间层探针的概念到我们的方法中，实验结果表明在 6 个 UCI 数据集和 CIFAR-10 中，我们在大多数（27 个案例中有 16 个）情况下都超过竞争对手，并在其余情况下达到最佳表现。此外，我们还进行了进一步的实验，以验证断言并直观理解为什么我们的方法有效。

Abstract

There has been recent interest in improving performance of simple models for multiple reasons such as interpretability, robust learning from small data, deployment in memory constrained settings as well as environmental considerations. In this paper, we propose a novel method

simple models sratio complex models neural networks training dataset

发现论文，激发创造

使用置信度配置优化简单模型

本文提出一种名为 ProfWeight 的新方法，用于从预训练的深度神经网络向一个较简单的可解释模型或低计算复杂度的浅层网络中传输信息，该方法使用线性探针通过展开的中间表示生成置信度分数，并在训练简单模型时使用这些中间层的置信度分数进行加权。该方法已在 CIFAR-10 和一个真实制造问题中证明了其价值。

Jul, 2018

深層增強多模態集成人臉識別及樣本級權重

利用多模型增强技术和样本级加权方法提出了一种强大的特征提取器，通过解决当前面部识别训练基准中高质量图片过多导致对困难样本泛化能力差的问题，以及将样本困难度纳入训练准则，取得了比其他算法更优的表现。

Aug, 2023

深度学习中学习重新加权示例的重新实现

通过元训练和在线权重逼近方法，本文旨在解决使用深度神经网络时出现的噪声标签和训练集偏差对模型表现造成的问题，并通过使用充满挑战的不平衡图像数据集进行皮肤癌检测的真实问题来验证这一方法。

May, 2024

通过自适应样本加权提高可微因果发现

本文提出了一种简单而有效的模型无关框架，通过动态学习适应权重来增强因果发现的性能，该权重定量地适合于每个样本的重要度，并已在合成和真实世界数据集上进行了广泛的实验证明，具有稳定且显着的结构学习性能提升，同时缓解了虚假边的影响并推广到异构数据。

Mar, 2023

深度加权平均分类器

本文提出了一种简单的方法，通过从非参数核回归中的一些想法得出训练实例的加权总和来预测标签，并在符合性方法的框架内提出了一种新的非一致性测量法，实验验证了理论预期，证明了在不影响准确性或校准的情况下，提高了透明度、可控的错误率和抵抗域外数据的鲁棒性。

Nov, 2018

使用带有线性分类器探测器的白盒元模型进行置信度评分

本文提出了一种基于两个模型范式的深度神经网络置信度评分机制，通过在任务中观察基础模型的成功 / 失败来学习元模型的置信度评分，实验结果表明该方法在过滤任务中优于各种基线，并使用带或不带噪声的 CIFAR-10 和 CIFAR-100 数据集进行了实验研究，讨论了置信度评分在实验和实际应用之间的重要性。

May, 2018

快速学习无奖惩数据的样本加权

本文提出了一种学习样本快速再加权方法（FSR），该方法通过历史记录学习构建代理奖励数据和特征共享以降低优化成本，无需额外奖励数据和昂贵的二阶计算，并在标签噪声鲁棒性和长尾识别方面达到具有竞争力的结果，同时显着提高了训练效率。

Sep, 2021

一种用于去偏置神经网络的对抗特征学习策略

本实验提出特征筛选的方法，即在神经网络的低层中自动鉴定和抑制易于计算的虚假特征，从而使高级别能够提取更丰富、更有意义的特征，这可以提高深度神经网络的识别能力和准确性，且无需依赖任何预设的知识。

Jan, 2023

将退化预测与高性能超分辨率网络相结合的框架

本文提出了将盲超分辨率预测机制与深度超分辨率网络相结合的框架，通过在 SR 网络特征映射中插入预测向量的元数据插入块，我们展示了最先进的对比预测方案和迭代预测方案在 RCAN 和 HAN 等高性能 SR 网络中成功地结合使用的结果，实现了比非盲和盲超分辨率网络更强大的超分辨率性能。

Nov, 2022

深入研究样本损失曲线以应对嘈杂和不平衡的数据

该论文提出了一种名为 CurveNet 的曲线感知网络，并采用探测和分配的方法，通过元学习自适应地分配适当的样本权重，以解决深度神经网络中常见的数据偏见和样本不平衡问题，并利用 skip layer meta optimization 方法加速了训练速度，该方法在多项具有挑战性的评估指标上取得了最先进的性能。

Dec, 2021