- IJCAI重新考虑在图上进行半监督学习的设置
本文针对半监督学习在图上的设置可能导致的过度调整模型超参数的风险进行了探讨，并提出了 ValidUtil 方法来帮助使用附加一组超参数的验证集的标签信息，以避免过度调整。作者构建了一个 i.i.d. 图形基准（IGB）集，以避免评估方差，该 - ACLKGTuner: 知识图谱学习的高效超参数搜索
提出了一种名为 KGTuner 的算法，通过在小子图上有效探索超参数配置，并将表现最佳的配置传递到大规模知识图谱中进行微调，从而有效地搜索知识图谱学习中的超参数，实验结果表明，相较于基准算法，能够在同样的时间预算下得到更好的算法性能，平均相 - 医疗文本数据去识别化的 Transformer 模型比较评估
比较评估了几种变压器模型架构在识别医疗文本中的受保护健康信息方面的表现，ROBERTA-large 模型在 i2b2/UTHealth 2014 语料库中的表现最佳。
- CVPR领域特定人脸检测的隐私保护在线自动机器学习
HyperFD 是一种新的面部检测隐私保护在线自动机器学习框架，通过元特征表征数据集，并连续学习元特征提取器来更好地权衡偏差和方差，从而使本地任务能够有效利用先前任务的学习经验。
- ADATIME：面向时间序列数据领域自适应的基准套件
我们开发了 ADATIME 评估套件，通过对 10 种最新颖的域适应方法在 20 个跨域场景下的四个代表性数据集的广泛实验来系统地和公平地评估不同的域适应方法在时间序列数据上的成功应用，并发现了可以根据实际模型选择方法选择超参数，并为该领域 - 基于贝叶斯优化的鲁棒模型预测控制在模型参数不确定性下的应用
提出了一种自适应优化方法，用于调整随机模型预测控制 (MPC) 的超参数，同时基于性能奖励估计转换模型参数的概率分布。用异方差噪声模型开发贝叶斯优化算法来处理超参数和动力学模型参数空间中的噪声变化。试验结果表明我们的方法可以得到更高的累积回 - 替代梯度设计
本文探讨替代梯度训练在神经形态计算和处理器中的应用，提出了一种理论解决方案来减少寻找 SG 形状和初始值的需要，改善其精度表现，并支持低阻尼，高亮度和低尾部厚度。
- GatedTabTransformer：表格建模的增强深度学习架构
本文提出了多种改进的 TabTransformer 模型，其中包含注意力机制和多种激活函数以及线性投影，针对三个数据集的二分类任务取得了超过 1% 的 AUROC 收益。此外，我们还评估了训练过程中特定超参数的重要性。
- ICCVT-AutoML：使用 3D 医学影像变换器进行病变分割的自动化机器学习
本文提出了一种新的自动化机器学习算法 T-AutoML，它不仅可以搜索最佳神经结构，而且可以同时找到最佳超参数和数据增强策略。该方法利用现代 transformer 模型适应搜索空间嵌入的动态长度并在多个大规模公共病变分割数据集上达到了最先 - EMNLP优化 Transformer 效率的技巧
本文提出了多种简单的、不依赖硬件的方法，并将这些方法结合使用，以提高 Transformer 的效率，在 WMT 新闻翻译任务中，我们提高了强 Transformer 系统在 CPU 上的推理效率 3.80 倍，在 GPU 上的推理效率 2 - EMNLP通过逐层权值污染对预训练模型进行后门攻击
本文提出一种更强的权重污染攻击方法，引入逐层权重污染策略以种植更深层次的后门；我们还引入一种组合式触发器，不能轻易检测。实验表明，以前的防御方法无法抵抗我们的权重污染方法，这表明我们的方法可以被广泛应用，并为未来的模型鲁棒性研究提供线索。
- 声学模型的缩放率
本文研究机器学习中的自回归生成模型和声学模型，探讨其性能和规模之间的比例关系，通过预测各项损失量，建立规模预测和性能选择间的联系，提出了几个调整性能的超参数的方案
- 利用尺度空间理论进行深度卷积网络的分辨率学习
使用 N-Jet 层，通过学习 Gaussian 导数滤波器的组合来自动学习每层正确的分辨率，优化连续参数 σ 从而实现有效的分类和分割。
- AAAI一个嵌套双层优化框架用于鲁棒性少样本学习
本文提出了一种新颖的元学习算法 NestedMAML，该算法可以学习分配给每个训练任务或实例的权重，并在元训练阶段应用，从而有效地缓解了不想要的任务或实例的影响，比现有的元学习算法都更鲁棒。
- 将光带入黑暗：在统一框架下对知识图谱嵌入模型进行大规模评估
该研究重新实现和评估了 21 种知识图谱嵌入模型，证明了模型架构、训练方法、损失函数和反向关系显式建模的结合对模型性能至关重要，提供了许多最佳配置和实践，并提供了代码和实验配置等信息。
- 关于低资源语言翻译的最优 Transformer 深度
本研究对 Transformer 模型在低资源语言翻译中的应用进行了探究，发现过度追求模型大小存在负面影响，需要注意调整超参数以提高性能。同时，本研究旨在挖掘更佳的模型性能，以推动 “Masakhane” 项目的发展。
- 对话状态跟踪中的复制机制数据增强
该研究旨在寻找影响基于复制机制的对话状态跟踪模型性能的因素。研究发现，数据增强可以提高它对未知值的性能，而且使用超参数可以在不同的性能和计算代价之间做出权衡。
- ICLR通过学习的特征转换实现跨域少样本分类
本文旨在解决度量方法下少样本分类领域差异的问题，使用特征转换层进行数据增强以模拟不同域下的特征分布，并应用 “学习学习” 方法搜索超参数来捕捉不同域下的特征分布变化，实验结果表明该方法适用于不同的度量模型，能够提高少样本分类准确性。
- Huber 损失函数的概率解释的另一种方法
本文提出了 Huber 损失的一种新的概率解释方法，该方法与 Laplace 分布间 Kullback-Leibler 散度的上界最小化相关，并通过模拟噪声分布来确定 Huber 损失的最适超参数值。
- 估计超参数的高斯过程回归的收敛性及在贝叶斯逆问题中的应用
研究高斯过程回归中的收敛性，着重于层次高斯过程回归，在其中先验未知的高斯过程仿真器的均值和协方差结构中出现的超参数会从数据中学习，并与后验均值和协方差一起计算。提供收敛性分析，并通过连续函数的任何情况下的收敛性说明从数据中学习超参数不会影响