- 主要实体识别:核心指代消解的基础替代方式
核心 ference 解析模型的有限泛化成为该任务广泛应用的主要瓶颈,通过对比不同的标注、使用额外的目标域数据,以及提出另一种 CR 任务的替代公式 ——Major Entity Identification(MEI),我们证明 MEI 模 - 自适应对抗性交叉熵损失用于尖锐感知最小化
近期学习算法的进展表明,损失曲面的陡峭程度是提高泛化差距的有效指标。本研究引入创新的方法进一步增强模型泛化能力,提出了自适应对抗交叉熵(AACE)损失函数替代 Sharpness-Aware Minimization(SAM)的扰动,同时提 - 关于分形维数作为泛化度量的局限性
深度学习中超参数化神经网络的泛化缺口、分形维度、持续同调维度、模型的双下降等方面进行了广泛的研究评估,通过观察发现,残差参数向量的 L2 范数与泛化缺口之间有更强的相关性。该研究为进一步探索分形几何、拓扑数据分析和神经网络优化之间的因果关系 - 深度学习中的双下降现象理解
将经验风险最小化与容量控制结合是机器学习中控制泛化差距和避免过拟合的经典策略。然而,在现代深度学习实践中,非常庞大的超参数化模型(例如神经网络)被优化以完美拟合训练数据,并且仍然具有出色的泛化性能。在插值点之后,增加模型复杂性似乎实际上降低 - 在 NOMA 增强无线网络中重新思考聚合式联邦学习
本研究探讨了在非独立非同分布数据集下,将新型聚类联邦学习(CFL)方法与非正交多址(NOMA)相结合的好处,并提出了解决非独立非同分布条件下挑战的解决方案。在 NOMA 增强网络中共同优化子信道和功率分配可以显著改善性能。
- 自适应梯度方法中是否可以去除平方根?一个二阶视角
去掉平方根的自适应方法能够改善在卷积架构上的泛化差异,同时保持其基于平方根的对应物在转换器上的性能,从而提出了二阶的视角来发展带有非对角线的自适应方法,它们不需要数值不稳定的矩阵平方根,在低精度下工作良好。
- 视觉强化学习中影响泛化差距的因素的理论与实证研究
通过理论上回答测试环境存在干扰因素时造成泛化差距的关键因素,我们的研究论文弥合了这一问题,指出在训练和测试环境之间尽量减小表示差距是最关键的,这与人类直觉相吻合。我们的理论结果得到了 DMControl 泛化基准测试 (DMC-GB) 的实 - 基于结构的材料属性预测方法对比研究
现实世界材料研究中,机器学习模型通常被期望能够预测和发现与已知材料不同的新颖材料。本研究在物性预测模型性能评估中提供了客观评价,在超出训练集分布的材料中预测模型的性能。通过在三个基准数据集上对基于结构的图神经网络的广泛实验,我们发现当前最先 - SEER-ZSL: 通用零样本学习的语义编码增强表示
通过创新性的编码器和组合损失函数,本论文介绍了一种双重策略来解决广义零样例学习中的泛化差距,并提出了一套新的评估指标,以更详细地评估结果的可信度和可复现性。
- ICML面向具有不同输入图像尺寸和输出类别数量的客户端的可扩展联邦学习
提出了一种名为 ScalableFL 的有效的联邦学习方法,根据客户端的输入图像大小和输出类别的数量调整本地模型的深度和宽度,并提供了联邦学习的推广差距的新的界限。在几个异构客户端设置下,通过图像分类和目标检测任务展示了 ScalableF - 扩散模型的泛化特性研究
扩散模型在理论和实践中的广义化能力、一般化差距以及模型对模式变化的敏感性进行了全面的理论分析和定量分析,证明了其在样本大小和模型容量上具有多项式级别的小一般化误差,使得其非常适用于实际应用。
- 量子核方法的超参数研究
量子核方法中的几何差异对模型性能和经典与量子核之间的泛化差距具有重要影响
- 基于样本驱动的联邦学习用于能效高和实时物联网传感
通过控制数据采样过程,我们可以减轻过拟合问题并提高整体准确性,从而为具有实时感知能力的联邦学习系统中的资源分配提供了有希望的解决方案。
- 通过梯度信噪比(GSNR)加速大批量训练
基于梯度信噪比的方差缩减梯度下降技术对大批量任务进行了快速训练动态的理论分析和泛化分析,证明了其加速训练、缩小泛化差距和提高最终精度的效果。
- 评估基于学习的语音增强系统在嘈杂和混响环境中的泛化差距
通过引入参考模型以作为测试条件困难性的代理,本研究提出了一个泛化性能评估框架,旨在准确评估具有嘈杂和混响特性的语音增强系统。通过在多个语音、噪声和 BRIR 数据库之间进行交叉验证,准确估计了泛化间隙,发现对于 FFNN、Conv-TasN - ICCV视觉与语言导航中的数据生成扩展
通过构建大规模数据集,研究了语言引导的视觉导航中各个组成部分对代理性能的影响,并通过简单模仿学习将现有代理的性能推向了一个显著的新高度,成功率达到了 80%,并将在已见和未见环境中导航的泛化差距降低到不到 1%。
- VIBR:学习视角不变值函数进行鲁棒视觉控制
本文提出基于多视角训练和不变预测的 VIBR 算法,从根本上解决具有视觉干扰的复杂环境下强化学习及视觉运动控制的鲁棒性问题,并在 Distracting Control Suite 基准测试中取得了最优结果。
- 深度神经网络训练的不一致性、不稳定性和泛化差距
研究深度神经网络的泛化差距问题,发现模型不一致和不稳定性是影响泛化差距的关键因素,通过算法降低不一致性可以提高性能,并为现有方法(如协同蒸馏和集成学习)提供了理论基础。
- 神经控制微分方程的泛化能力
该篇论文处理的是一种监督式学习框架,利用神经控制微分方程预测来自不规则采样时间序列的结果,并通过理论结果与神经网络的 Lipschitz 常数关联,从而上界估计经验风险最小化器得出的期望损失与真实预测器期望损失之间的归纳差距。
- 神经置信传播译码器的泛化界限
本文研究神经信念传播解码器的泛化能力,利用机器学习方法设计下一代通信系统的译码器,提高传统解码算法的性能。通过理论与实验结果给出了解码器的泛化缺口,以及其与代码参数、解码迭代次数、训练数据集大小等的关系。