- 回归树的稳定更新
通过使用经验稳定性的概念,我们提出了一种正则化方法,该方法根据初始模型中的不确定性对数据点进行加权,并提供了在可预测性和经验稳定性之间取得平衡的算法,通过调整超参数来调节这种平衡。结果表明,所提出的更新方法在改善稳定性的同时实现了类似或更好 - 坚守你的角色!大型语言模型表达的个人价值稳定性
本研究通过模拟对话的方式,从不同的背景情境中探索大型语言模型的稳定性,并测量其在价值表达方面的可靠性。该研究发现,在不同背景和对话长度的情况下,模型的稳定性受到指导角色模拟和对话长度的影响,并强调了未来研究中模拟多样性角色以及对上下文依赖性 - 不确定预测下的排序稳定性和多组公平性
我们的研究考虑了排名函数:将分类任务的个别预测映射为排名分布,重点关注对预测扰动的稳定性以及对个体和子群体的公平性。我们展示了最近提出的基于不确定性的排名函数在稳定性方面的表现,并且通过与多准确预测或多校准预测器的成功组合,实现了多组公平性 - SAGMAN:基于流形的图神经网络稳定性分析
通过引入一种称为 SAGMAN 的谱框架来评估 GNN 的稳定性,所提出的距离保持图降维 (GDR) 方法通过谱图嵌入和概率图模型 (PGMs) 创建了低维的输入 / 输出基于图的多样性,以便进行有意义的稳定性分析,实证评估表明 SAGMA - 稳定且鲁棒的深度学习方法:双曲正切指数线性单元(TeLU)
引入了 Hyperbolic Tangent Exponential Linear Unit(TeLU)作为一种新的神经网络激活函数,通过解决渐变消失和渐变爆炸问题,提高了稳定性和鲁棒性,在各种深度学习应用中表现出卓越的性能,将其视为潜在的 - NLBAC:一种基于神经常微分方程的稳定和安全强化学习框架
该研究介绍了一种基于神经常微分方程的 Lyapunov-Barrier Actor-Critic (NLBAC) 框架,该框架利用神经常微分方程来近似系统动态,并将控制凸障函数 (CBF) 和控制李雅普诺夫函数 (CLF) 的框架与演员 - - 应用 ODE 方法的随机逼近和强化学习在马尔可夫噪音中
扩展 Borkar-Meyn 定理以适用于具有线性函数逼近和资格痕迹的离策略强化学习算法,分析随机逼近算法的稳定性和马尔可夫噪声条件下的边界性。
- Mix-GENEO:多参数持久同调的灵活过滤方法用于数字图像检测
拓扑数据分析领域中的两个重要问题是在对象上定义实用的多滤波和展示 TDA 检测几何的能力。通过解决这些问题,我们构建了名为 multi-GENEO、multi-DGENEO 和 mix-GENEO 的三个多滤波,并证明了 multi-GEN - 图卷积神经网络的稳定性:小扰动分析视角
本文研究了图卷积神经网络在图拓扑的随机小扰动下的稳定性问题,通过导出了一个新的界限,明确了未经扰动和经扰动图卷积神经网络输出之间的期望差异,该界限明确取决于拉普拉斯矩阵特征对的扰动程度以及插入或删除的边。在此基础上,我们定量地描述了特定边的 - 加权合奏模型是强大的持续学习者
在这项研究中,我们研究了增量学习(CL)的问题,其目标是在一系列任务中学习模型,使得先前任务的数据在学习当前任务数据时不可用。我们提出了一种称为 Continual Model Averaging(或 CoMA)的加权集成模型,它在保持稳定 - 学习低秩特征表示:在连续学习中更好地平衡稳定性和可塑性
提出了一种名为 LRFR 的新型训练算法,通过在过去任务的特征表示矩阵的零空间中优化网络参数来保证稳定性,同时在训练各个任务时仅选择网络各层中的部分神经元来学习过去任务的特征表示矩阵以增加零空间维度,从而增强了网络参数设计时的可塑性,该方法 - 学习优化器的训练动态调查
深度学习中优化的关键问题是通过学习优化器来加速优化过程,但其稳定性、泛化性仍存在问题。本研究通过分析网络架构对优化轨迹和参数更新分布的影响,研究并对比手动设计和学习优化器的优缺点,提出了关键见解。
- 通过网络分割和合并与梦幻元加权模型融合的持续学习
我们提出了一种名为 Split2MetaFusion 的连续学习方法,通过采用两阶段策略(分割和元权重融合),同时实现了网络稳定性和可塑性的更好权衡。在实验结果和分析中,证明了该方法在保持网络稳定性和可塑性方面的优越性。
- 揭示任务 fMRI 分析空间中的流程社群
通过社区检测算法示范函数磁共振成像分析流程的可变性,发现具有相似结果的子集,尤其是在共享特定参数的情况下,跨参与者组拥有相对稳定性;通过可视化这些子集之间的差异,描述了流程参数的影响并在分析空间中推导出一般关系。
- 走向稳定可靠的修复填充
提出了一种基于稳定先验的平衡解决方案 ASUKA,以在引导修复细节的同时保持生成能力。通过对齐遮蔽和未遮蔽区域,并采用特殊设计的解码器,ASUKA 显著提高修复的稳定性和真实性,得到了与 SD 和其他修复算法相比的验证效果。
- 图神经网络中稳定性与表示能力之间的权衡
验证了在图神经网络中引入拓扑扰动的稳定性,针对不同结构的 EdgeNet 框架证明其稳定性,以及参数空间的自由度与代表能力之间的关系和边缘网络参数矩阵与图移动算子的特征向量错配程度对稳定性的影响。
- 有限标记数据的学习稳定性及随机性影响的系统文献综述
通过综述 134 篇研究文献,我们全面概述了有限标记数据学习过程中随机性对稳定性的影响,探究、确定、缓解、比较及报告该随机性影响的四个主要任务,并提出七个挑战与未解决问题,以及进一步研究的可能方向。本综述旨在强调这个发展中的研究领域的重要性 - 关于步长调整和渐进锐化之间的相互作用
最近的实证研究发现,深度学习模型的一个有趣特性是通过优化过程中最大特征值(海森矩阵的最大特征值)逐渐增加,直到在关键值处稳定,此时优化器在稳定边缘操作,给定固定步长;我们通过实证研究了使用步长调节器(如 Armijo 线搜索和 Polyak - 非凸 PnP-ADMM 与 MMSE 去噪算法的收敛性
基于解释卷积神经网络先验为最小均方误差(MMSE)降噪器的理论解析,论文对 PnP-ADMM 的稳定性进行了解释,并通过对非扩展 DnCNN 降噪器和扩展 DRUNet 降噪器之间性能差距的数值评估,进一步验证了使用扩展卷积神经网络的动机。
- 模型平均中的稳定性和 L2 惩罚
该研究纸通过引入稳定性及统计学习理论,对模型平均进行了研究,提出了一个不限制模型权重的 L2 惩罚模型平均方法,并证明了其具有稳定性和一致性。