- LaneSegNet 设计研究
为了提高计算机视觉算法在实时场景中对道路特征的准确评估能力,本研究探索了 LaneSegNet 架构,该方法将拓扑信息与车道线数据集成,以提供更多上下文理解道路环境的能力。通过修改特征提取器和变换器编码器 - 解码器堆栈,我们发现在训练时间 - 看起来比那个更好:使用 ProtoPNeXt 获得更好的可解释模型
使用 ProtoPNeXt 框架,结合贝叶斯超参数调整和角度原型相似度度量,有效提高了原始 ProtoPNet 在 CUB-200 上的准确性,同时优化了原型的可解释性,产生了具有显著改进的模型。
- KDD自顶向下的贝叶斯后验抽样在和积网络中的应用
通过导出一种新的 Gibbs 采样的全部条件概率,通过边际化多个随机变量来快速获得后验分布,我们提出了一种可用于大规模 sum-product networks 的贝叶斯学习方法,同时还提出了一种超参数调优方法,通过在大规模 sum-pro - IJCAI基于生物标志物的癌症分类,使用经过预训练模型的集成
通过非侵入式方法,液体活检能够检测和监测特定生物标志物,提高医疗干预的精确性和效能,利用超快模型进行癌症分类,并结合超快模型、XGBoost 和 LightGBM 提出了一种新的集成模型用于多类别分类任务,仅使用 500 个主成分特征即可实 - INTERSPEECH 2009 情感挑戰重探:在語音情感識別領域 15 年的進展基準
重新回顾评估深度学习模型在语音情感识别研究中的最新进展,表明尽管取得了一些进步,FAU-AIBO 仍然是一个具有挑战性的基准,而新的方法并不一致地优于旧的方法,显示解决语音情感识别问题的进展不一定是单调的。
- 时间筛:通过信息瓶颈提取时间动态
我们提出了一种创新的时间序列预测模型 TimeSieve,通过使用小波变换预处理时间序列数据并引入信息瓶颈理论过滤冗余特征,提高了预测准确性和泛化能力,解决了时间序列预测中的关键问题。
- 改进的联邦数据集建模:使用狄利克雷 - 多项式混合模型
本文研究如何将中心化数据进行划分以反映真实联邦客户端的统计异质性,并提出了一种完全联邦且有理论依据的算法,通过使用推断的分布从中心化数据创建模拟客户端,实现了改进的服务器端模拟。
- MOSEAC: 简化的变步长强化学习
传统强化学习方法中,固定控制频率通常会导致高计算需求和降低的探索效率。多目标软弹性演员 - 评论家 (MOSEAC) 方法通过使用自适应奖励方案来解决这些问题,并验证了其在牛顿运动学环境中的高任务和训练性能,从而降低能源消耗,并简化了 RL - 解放图神经网络:摆脱繁琐调整
为了解决图神经网络的高计算成本和高人力成本问题,本研究提出了一种图条件潜在扩散框架(GNN-Diff),通过从粗略搜索中学习保存的检查点直接生成高性能的图神经网络,不需进行复杂的调参和搜索空间设计,比传统的扩散框架在生成高质量的图神经网络方 - 通过随机梯度巴克动力学实现鲁棒的近似采样
此研究介绍了随机梯度贝克动力学(SGBD)算法,通过扩展最近开发的贝克马尔科夫链蒙特卡洛(MCMC)方案为随机梯度框架,实现了在大数据集下对贝叶斯采样的鲁棒性。研究表明,相比流行的随机梯度 Langevin 动力学算法,SGBD 在超参数调 - 多目标 AutoML 的超参数重要性分析
我们提出了第一种方法,用于评估多目标超参数优化背景下超参数的重要性。我们的方法利用基于代理模型的超参数重要性度量,即 fANOVA 和消融路径,以便提供关于超参数对优化目标的影响的见解。通过在不同目标与准确性相配对的广泛实证评估,即时间、人 - 迈向无参数优化的稳定性
提出了一种无需手动调节参数的优化器 AdamG,通过使用 AdaGrad-Norm 算法中的黄金步长派生技术,自动适应不同的优化问题并实现了与手动调节学习率的 Adam 相当的优化性能。
- 行为监督调节的离线强化学习
TD3-BST 是一种应用于脱机强化学习算法的不确定性模型,通过指导策略在数据集支持中选择动作,从而比先前的方法更有效地从离线数据集中学习策略,并在具有挑战性的基准测试中取得最佳性能,无需进行特定数据集的调整。
- IJCAI历史重演:时间知识图谱预测的基础
基于历史知识图谱,通过预测重复事实,在预测未来时间步内的知识图谱的链接方面提出了一个直观的 TKG 预测基线,与大多数 TKG 模型相比,它需要较少的超参数调整和无迭代训练,并且能够帮助识别现有方法中的失败模式。与五个数据集上的 11 种方 - 针对未知情况的调整:重新审视终身强化学习的评估策略
本文研究了终身强化学习中的关键问题,通过新的调优和评估方法,在只有百分之一的实验数据用于超参数调整的情况下,发现 DQN 和 Soft Actor Critic 方法表现不佳,而一些保持网络可塑性的算法措施表现出色,并且网络不断学习的能力与 - 连续学习中的超参数:现实检验
连续学习算法的评估方法不仅不切实际,而且不能有效地评估算法的连续学习能力,通过基于提议的协议在类增量学习方案上的实验,我们不仅观察到现有评估方法未能适当评估各个算法的连续学习能力,还观察到一些最近提出的报告表现优越的先进算法实际上与以前的算 - 基于树的学习用于高保真混沌预测
不需要超参数调整的基于树的方法 TreeDOX 被引入用于时序混沌系统的模型无关预测,其采用了时间延迟过嵌入作为显式短期记忆和 Extra-Trees 回归器来进行特征降维和预测,我们通过在 Henon 地图、Lorenz 和 Kuramo - 为何学习率能够传递?调和深度学习的优化与扩展限制
最近的研究表明,神经网络的宽度和深度对于所谓的丰富特征学习极限(μP 及其深层延伸)的缩放存在转移学习现象,从而降低了超参数调整的成本。本研究通过实证找到了学习率转移的实验证据,并得出结论,在 μP 及其深层延伸下,训练损失 Hessian - 提高超梯度估计:预条件和参数重参数化的研究
双层优化是一种针对依赖于内部优化问题解的外部目标函数进行优化的方法,在机器学习中广泛应用于超参数调整。本研究通过研究隐藏变量方法的误差,分析了两种减小误差的策略:预处理隐藏变量公式和重新参数化内部问题。我们详细说明了这两种修改对误差的影响, - 预训练模型知识蒸馏的实用洞见
通过对知识蒸馏 (KD) 技术的综合比较研究,本文填补了目前研究中的空白,揭示了在协作与联邦学习框架中利用预训练模型中的知识蒸馏技术的最佳超参数设置,通过降低通信回合和加速训练过程,提高模型性能的实用框架。