朝向基本可扩展的模型选择：渐近快速更新和选择
通过对扩大模型的嵌入层进行实证和理论分析，研究人员发现嵌入坍塌现象是限制大规模推荐模型可扩展性的关键问题，并提出一种多嵌入设计来捕捉不同模式并减少崩溃，从而为各种推荐模型提供一致的扩展性。
Oct, 2023
提出了一种基于两阶段模型选择框架的方法，通过利用基准数据集上模型的训练性能来提高选择强大模型的效率，实验证明该方法让模型的选择速度比传统基准方法快 3 倍。
Mar, 2024
该研究提出 Neural Input Search 技术，它通过强化学习自动学习在记忆限制下最优的分类特征嵌入维度和词汇大小，相较于传统的 Single-size Embedding，采用一种新型的嵌入方法 ——Multi-size Embedding，它能让特征值的嵌入维度有所不同，在两种类型的推荐问题上实现了较好的表现。
Jul, 2019
本文通过实验证明，相比于之前研究中通常考虑模型大小因素对性能的影响，训练数据集的大小对模型性能的影响同样显著，实验结果发现，训练更小的数据子集可以带来更可靠的模型选择决策同时降低计算成本，并能估算出常见数据集在现代神经网络结构下的最小描述长度，为采用奥卡姆剃刀原则进行负责的模型选择提供了可能性。
Sep, 2020
本文提出一种用于多任务学习的实例动态网络模型选择方法，该方法基于一个精简而准确的主干架构为每个任务的实例提供多个不同配置的层级结构网络模型进行估计，并利用选择器从候选模型池中动态地选择最佳模型。实验结果表明该方法具有出色的性能，并可以在多个任务中实现按实例选择模型的功能。
Sep, 2019
我们研究数据选择问题，将利用 $k$-means 聚类和敏感性抽样方法，基于模型损失的嵌入表示，可选择一组典型样本，其平均损失与整个数据集的平均损失相对应，具有可证明的性质，并且在微调基础模型上表现优于最先进的方法，同时展示了它如何应用于线性回归，提供了一个更简单且可扩展性更强的抽样策略。
Feb, 2024
本文提出了一种基于 “可扩展多样化模型选择” 的框架，利用若干简单技巧改善了现有的预选权重和转移能力估计算法，在多种基于预训练深度学习模型的数据集上进行了广泛实验。结果表明，该方法（PARC）优于其他所有方法，并且本文公开了所用的 Benchmarks 和代码。
Nov, 2021
通过将离散特征子集转换为连续嵌入空间优化的方法，我们提出了一种新的深度可微特征选择任务，实现了一种通用和原则性的框架，该框架包括深度特征子集编码器，准确性评估器，解码器和梯度上升优化器。
Feb, 2023
通过对包含图像和表格数据的多样化数据集进行实证评估，该研究对 18 种基线模型进行基准测试，比较了它们在选择错误率、实证覆盖率、被拒绝实例类别分布以及在分布外实例上的性能等多个方面的表现，结果显示没有一个明确的最佳方法，最好的方法取决于用户的目标。
Jan, 2024