- 非光滑非凸优化中的随机放缩和动量
通过在每个时间点对更新进行指数分布随机标量缩放的方式,我们提出的方法对于高度不规则的、非凸非光滑的损失函数在优化神经网络训练中表现出最优的收敛保证。这个结果是通过将在线凸优化算法转化为非凸优化算法的一般框架自然得出的。
- 揭示物理任务导向神经网络的优化过程:PINN 能有多准确和有竞争力?
研究通过改进优化算法和调整损失函数,得出物理感知神经网络在多个领域具有与有限差分方案相当的准确性,鼓励进一步推动 PINNs 和相关优化技术在各个领域的应用。
- Wave Loss 函数推动监督学习:一种鲁棒而平滑的方法
该研究论文介绍了一种名为 Wave Loss 的非对称损失函数,将其应用于支持向量机和双支持向量机模型的优化过程中,通过优化算法提高了预测准确性,并在多个领域的数据集上进行了实证评估。
- 逆散度上的无偏估计方程及其条件
本文研究了由互补函数定义的 Bregman 距离,即逆向距离。探讨了通过单调递增函数和逆向距离定义的损失函数下,使估计方程无偏的统计模型和函数 f 的条件。具体而言,我们通过逆高斯型和广义逆高斯型分布的混合模型表明,对于每个模型,函数 f - 图像分类的下一代损失函数
神经网络通过最小化损失函数来学习,定义了预测模型输出与目标值之间的差异。选择损失函数对于实现特定任务行为至关重要,并且极大地影响模型的能力。我们利用遗传编程方法对众所周知的损失函数进行了实验性挑战,包括交叉熵损失,提出了 5 个最佳函数,并 - 针对平滑机翼设计的生成对抗网络定制
在航空航天设计领域,实现平滑曲线至关重要,特别是在制作如翼型等物体时。生成对抗网络(GAN)作为一种广泛使用的生成人工智能技术,在合成翼型设计方面已经证明其重要性。然而,GAN 的一个普遍限制是生成的翼型表面缺乏平滑性。为了解决这个问题,我 - EGGS: 边缘引导高斯描绘辐射场
通过引入边缘引导的高斯喷洒方法,利用输入图像中的边缘区域给予更高的权重,中间沉积计算成本,实验证实这种简单的边缘加权损失函数在多个数据集上能够显著改进 1 到 2dB,以及在人头建模、建筑三维重建等不同场景中能够改善所有高斯喷洒方法。
- $F_β$ 绘图 -- 用于评估不平衡数据分类器的可视化工具
针对不平衡数据分类问题,本文提出了一种分析广泛使用的参数化度量 $F_eta$ 的简单方法,以便根据用户需求确定何时选择特定模型。
- 基于加权损失和迁移学习的深度估计
通过使用迁移学习和优化损失函数的简化和适应性方法,我们改进了深度估计的准确性。我们探索了多种编码解码模型,并发现 EfficientNet 模型在 RSME,REL 和 log10 方面表现最佳。我们的模型在准确性和稳健性方面取得了显著提升 - 金鱼:一种高效的联邦退学框架
通过引入 Goldfish 框架和采用新的损失函数与知识蒸馏技术,研究提出了一种解决机器遗忘效率和有效性挑战的方法,并通过实验证明了该方法的有效性。
- 骨架召回损失用于细管状结构连通性保持和资源高效分割
提出了一种新的骨架召回损失,通过绕过昂贵的 GPU 计算,采用廉价的 CPU 操作,解决了薄结构分割中的计算和内存负担问题,并在保持拓扑性方面表现出卓越性能。
- 一种简单而有效的多样化会话推荐方法
我们提出了一种插件设计,将多样性引入现有的 SBRS,以提高推荐列表的多样性并保持推荐准确性。这一设计包括一个面向多样性的模型不可知型损失函数和一个无侵入的类别感知注意机制。通过实验验证,相较于当前最先进的准确性导向型 SBRS,我们的设计 - 基于 GAN 的 CT 去噪的多尺度纹理损失
本研究提出了一种利用 GLCM 的多尺度特征和可微分 GLCM 的损失函数,并引入了自注意力层,以提高基于 GANs 的低剂量 CT 去噪算法的性能。实验结果表明,该方法相比其他损失函数表现更好,且结果在三种不同 GAN 架构下保持一致。
- EAGLE: 基于边缘感知的梯度定位增强损失用于 CT 图像重建
提出一种用于增强计算机断层扫描图像重建质量的新型损失函数 Eagle-Loss,通过对梯度变化中的局部特征进行光谱分析以增强图像的锐度和边缘,实验结果表明 Eagle-Loss 在低剂量 CT 重建和 CT 视场扩展任务中不断改善图像质量, - 降低 Jeffries-Matusita 距离:一种新的损失函数用于提高深度分类模型的泛化性能
通过分析损失函数的特征,本文引入了一种减少过拟合问题的距离称为减少的 Jeffries-Matusita 作为深度分类模型的损失函数,在计算机视觉的图像分类和图学习的节点分类问题中,实验证明新的距离度量显著稳定了训练过程,提高了模型的泛化能 - 重拾 BCE Loss 用于均匀分类
本文介绍了统一分类的概念,该方法采用统一阈值对所有样本进行分类,而不是针对每个样本采用自适应阈值进行分类。我们还提出了统一分类准确率作为衡量统一分类模型性能的指标。通过一个初级损失函数,我们数学推导出了适用于统一分类的损失函数,即集成了统一 - 大学习速率下梯度下降的稳定性
在本文中,我们证明了在使用二次损失函数优化的线性神经网络中,梯度下降映射是非奇异的,损失函数的全局极小化集合形成平滑流形,并且稳定的极小值在参数空间中形成有界子集。另外,我们证明了如果步长过大,则使梯度下降收敛到临界点的初始化集合的测度为零 - 用于稳健结构预测的结构化语言生成模型
我们提出了结构化语言生成模型(SLGM),这是一种结合新的损失函数和推理方法,以更好地泛化结构化输出的混合模型。
- 一种用于改进泛化能力的正则化 1NN 分类器的新方法
我们提出了一种非参数分类器,可以学习任意边界并且具有良好的推广能力,通过用一种贪婪方法来正则化 1NN 分类器。我们称这类分类器为 Watershed 分类器。传统方法正则化 1NN 分类器是考虑 K 个最近邻。我们提出了一种可以学习与 w - 视觉语言模型的部分再集中软最大值损失函数鲁棒性
通过修改预训练的多模态模型的损失函数,限制前 K 个 softmax 输出,本研究在评估和评分基础上展示了,经过微调后,预训练模型的对抗鲁棒性可以显著提高,抵御常见攻击。后续研究应该探索这种损失函数的输出多样性、泛化性以及鲁棒性与性能之间的