- 层次神经网络、p - 适应性的偏微分方程及其在图像处理中的应用
介绍了一种新类型的带延迟的 p-adic 反应扩散细胞神经网络,并研究了这些网络的稳定性和它们的响应的数值模拟。同时,对 p-adic 细胞神经网络及其在图像处理中的应用进行了快速回顾。
- 通过麦克劳林展开稳定极限 Q 学习
通过应用 Maclaurin 展开来改进 Extreme Q-learning 方法,提高了稳定性,并允许根据展开阶数调整误差分布假设,从而显著稳定了在线强化学习任务,同时提高了离线强化学习任务的性能。
- Q 学习作为单调方案
应用线性二次示例来研究强化学习方法中存在的稳定性和收敛性问题,并在函数逼近对单调性属性的影响方面解释确切 Q-learning 的收敛准则。
- 评估解释的统一框架
评估可解释性模型的统一框架是该论文的重点,它介绍了各个研究群体对解释性评估的重叠和语义错位,并提出了解释的可行性和可理解性的评估标准,以及基于可解释神经网络的学习行为预测的案例。
- SM-DTW:用于签名验证的稳定调节的动态时间规整
基于计算模型的书写学习和执行研究结果,我们引入了稳定性的概念来解释被试的签名在多次执行过程中实际运动的差异,并推测在签名验证过程中,签名的最稳定部分应该在评估被质疑签名与参考签名之间的相似性方面起着重要作用。我们随后引入了稳定区域调制动态时 - 离散时间 ReLU 循环神经网络的稳定性和性能分析
用维度恒定的非线性神经网络的充分稳定性和 l2 - 增益性能从理论上证明了通过结合李亚普诺夫 / 耗散理论和重复 ReLU 满足的二次约束(QCs)导出。我们使用已知的标量 ReLU 的性质,创作了一般类的重复 ReLU 的 QC。稳定性和 - 无监督连续学习中融合现在和过去
我们提出了一种适用于无监督连续学习(UCL)的统一框架,该框架将实时数据和过去数据的特定学习目标区分开来,包括稳定性、可塑性和跨任务整合。我们的方法 Osiris 在分离的嵌入空间中明确优化这三个目标,并在所有基准测试中取得了最先进的性能, - IJCAI任务不平衡持续学习的动态锚定提示
本研究探讨了任务不平衡连续学习(TICL)场景下,基于提示的动态锚定方法(DAP)在稳定性和可塑性之间寻求平衡,为 TICL 中的数据流改变提供了 4.5% 到 15% 的绝对改进。
- AntBatchInfer:Kubernetes 集群中的弹性批量推断
AntBatchInfer 是一种针对非专用集群进行优化的弹性离线批量推理框架,通过提供多级容错能力和改进推理效率的方法,稳定高效地执行复杂的单模型和多模型批量推理任务,并在稳定性和效率方面表现优越。
- 利用 Polyak 步长适应增强策略梯度
本文介绍了在强化学习领域中广泛使用且具有收敛保证和稳定性的策略梯度算法,在解决参数敏感性问题的同时,通过实验展示了 Polyak 步长在强化学习中更快的收敛速度和更稳定的策略产生。
- 深度神经网络的 Lipschitz 常数的组合估计
通过将大型矩阵验证问题的确切分解为较小的子问题,我们提供了一种用于估计深度前馈神经网络的 Lipschitz 常数的组合方法。通过数值实验证明,我们的方法在计算时间上大大降低,同时产生的 Lipschitz 界限接近于最先进的方法。
- 用于解决时间依赖偏微分方程的非线性参数化的顺序时间训练
顺序时间方法用于训练非线性参数化模型(如神经网络)以近似求解偏微分方程随时间变化的解轨迹。本文指出顺序时间训练方法可以广义地理解为优化 - 离散化或离散化 - 优化的方案,并将其与数值分析中已知的概念联系起来。其统一视角提供了新的稳定性和后 - CVPRInfLoRA: 自动学习的无干扰低秩适应
通过注入少量参数重参数化预训练权重,InfLoRA 方法设计了一个子空间来消除新任务对旧任务的干扰,实现了稳定性和可塑性之间的良好权衡,从而在多个数据集上胜过现有最先进的持续学习方法。
- 面向稳定的机器学习模型再训练:通过缓变序列实现
通过使用混合整数优化算法,在重新训练机器学习模型时考虑到不同数据批次更新的稳定性,通过使用自定义的距离度量指标来实现保持一致的分析洞察力,并在一个真实的生产案例中展示出比贪婪训练模型更强的稳定性。重要的分析洞察力在重新训练迭代中保持一致。
- 分支调整:平衡稳定性和可塑性的连续自监督学习
我们提出了一种平衡稳定性和可塑性的方法,称为 Branch-tuning,可以应用于不同的自监督学习方法,而无需修改原始方法、保留旧数据或模型。通过在各种基准数据集上进行渐进实验,验证了该方法在真实场景中的有效性和实用价值。
- 个体偏好稳定聚类的可扩展算法
本文研究了个体偏好稳定性(IP Stability),该概念捕捉了聚类中的个体公平性和稳定性。在这个设置中,如果每个数据点到其簇的平均距离不超过其到其他簇的平均距离的 α 倍,那么聚类就是 α-IP 稳定的。本文研究了个体偏好稳定聚类的自然 - 面向公平高效的基于学习的拥塞控制
Astraea 是一种基于深度强化学习的拥塞控制算法,通过多智能体框架并在训练过程中显式优化收敛性质,以实现公平性和稳定性的快速收敛。
- 次齐深度均衡模型
本文基于亚向同调算子和非线性 Perron-Frobenius 理论,对隐式深度神经网络的不动点的存在性和唯一性进行了新的分析。相较于先前的类似分析,我们的理论对参数矩阵的假设更弱,从而为隐式网络提供了更灵活的框架。我们通过前馈、卷积和图神 - 复杂振荡器网络的不稳定性预测:网络度量和机器学习的局限性和潜力
网络科学的一个核心问题是系统的功能特性如何从其结构中产生。将网络测量与振动系统的稳定性等功能特性相结合的图神经网络 (GNNs) 在预测这种稳定性方面表现出色,而网络测量则难以清晰地描述。
- MegaScale:将大规模语言模型训练扩展至超过 10,000 个 GPU
我们介绍了 MegaScale 的设计、实现和工程经验,它是一个用于在超过 10,000 个 GPU 的规模上训练大型语言模型的生产系统。我们采用了一种全栈方法,通过共同设计算法和系统组件来解决训练效率和稳定性方面的挑战,并分享了我们在确保