我们提出了一种新的通用特征排序方法，该方法在静态和时间序列场景中在多个数据集上表现良好，可用于分类和回归等任务，并且应用于药物反应数据集时能够识别与药物反应相关的基因。

Dec, 2017

本篇论文展示了预训练模型的高效性，使用 Transformer-based 序列到序列模型，并将其与公开的预训练检查点匹配，取得了机器翻译、文本摘要、句子拆分和句子融合等方面的最新的最新成果。

Jul, 2019

通过测量预训练模型中神经崩溃的程度，提出了一种名为 Fair Collapse（FaCe）的新方法用于传递性估计，该方法包括方差崩溃项和类公平度项。实验结果表明，FaCe 在图像分类、语义分割和文本分类等不同任务上取得了最先进的性能，证明了我们方法的有效性和泛化能力。

Oct, 2023

基于深度学习的预训练模型，挑选最佳模型在不断增多的选择中成为一项挑战。本论文提出了稳健的基准指南用于评估不同的迁移性评估者，并对多个评估者进行有效的结合，结果显示其预测结果的一致性改善。通过全面评估 13 个评估者在 11 个数据集上的表现，包括广义、精细化和医学图像数据集，我们发现只有少数评估者可以与 ImageNet 上的简单原始指标的预测性能匹配，而所有的预测者在医学数据集上都表现不佳。我们的研究结果凸显了在可靠地预测迁移性方面结合不同信息源的潜力。

May, 2024

本文介绍了一种名为 Checkpoint Ensembles 的技术，它能够在单个训练过程中生成集成模型，使用此技术可以解决神经网络样本数据过小、采样噪声问题导致的训练数据误差。该方法通过检查点 ensemble 的方式融合了 validation set 和 ensemble models，实验证明 Checkpoint Ensembles 的表现优于其他方法。

Oct, 2017

本文提出了特征样例，有效地给深度神经网络生成指纹。为了更好地平衡鲁棒性和可传递性，我们提出了三类特征样例：普通 C 样例，RC 样例和 LTRC 样例，并且提出了独特性评分，这是测量鲁棒性和可传递性之间差异的综合指标，也是假警报问题的一个指示器。

May, 2021

通过提出一个新的 deep neural networks 训练基准 (TBD)，并在三个主要的深度学习框架 (TensorFlow、MXNet、CNTK) 上进行广泛的性能分析，本文为 DNN 训练提供了一套新的分析工具集以及对未来研究和优化的建议。

Mar, 2018

本研究分析了当前用于图像识别的大多数深度神经网络 (DNN) 的性能指标，包括识别准确率、模型复杂度、计算复杂度、内存使用和推断时间等，并通过在两种不同计算机架构上的实验来测量指标，以帮助研究者们了解目前已经研究探索的解决方案及其未来发展方向，并帮助从业者选择最适合其资源限制的 DNN 架构。

Oct, 2018

在本文中，我们提出了一种名为自组合保护 (SEP) 的新思路来防止竞争对手用数据训练表现良好的模型，该方法在多个数据集和模型架构上得到了验证和实验，结果表明自组合保护是一种新的最佳实践。

Nov, 2022

本文提出了一种新的 few-shot learning pipeline，将图像检索的相关性排名转化为二进制排名关系分类。我们的深度神经网络的核心组件是一个简单的 MLP，并可构建于任何最先进的特征提取器之上。在元测试期间，RankDNN 根据支持图像与查询样本的相似度对其进行排名，并将每个查询样本分配给其最近邻的类标签。实验表明 RankDNN 能有效提高其基线算法的性能，并在包括 miniImageNet、tieredImageNet、Caltech-UCSD Birds 和 CIFAR-FS 在内的多个 few-shot 学习基准上优于先前的状态 - of-the-art 算法。

Nov, 2022