- 逆散度上的无偏估计方程及其条件
本文研究了由互补函数定义的 Bregman 距离,即逆向距离。探讨了通过单调递增函数和逆向距离定义的损失函数下,使估计方程无偏的统计模型和函数 f 的条件。具体而言,我们通过逆高斯型和广义逆高斯型分布的混合模型表明,对于每个模型,函数 f - ICLRConjNorm: 可操作的密度估计用于异常检测
通过使用 Bregman 分歧为基础的密度函数设计方法,我们提出了一种新的理论框架,引入了 ConjNorm 方法,达到了在不同的 OOD 检测设置中比当前最佳方法高出 13.25%和 28.19%(FPR95)的新的最先进水平。
- PRIOR: 个性化先验用于再激活在联邦学习中被忽视的信息
提出了一种新颖的个性化联邦学习方案,通过向每个客户端的全局模型注入个性化先验知识来减轻个性化联邦学习中引入的不完整信息问题,在个性化场景中具有更大的适应性,通过收敛分析和大量实验结果验证了该方法的鲁棒性和必要性。
- 在 RKHS 中的密度比自适应学习
通过分析一类正则化 Bregman 散度的密度比率估计方法,我们得出新的有限样本误差界,并提出一种 Lepskii 类的参数选择原则,在不知道密度比率的规则性的情况下最小化误差界。在二次损失的特殊情况下,我们的方法能够自适应地达到极小极大误 - DBGSA:一种新的数据自适应 Bregman 聚类算法
提出了一种结合普适引力算法的数据驱动巴格曼散度参数优化聚类算法(DBGSA),通过构建具有特殊属性的引力系数方程,逐渐减少迭代过程中的影响因子,并引入巴格曼散度广义幂均值信息损失最小化来识别聚类中心和构建超参数识别优化模型,有效解决了改进数 - ACL通过自对比 Bregman 散度学习高效文档嵌入
本文提出了一种基于 Longfomer 的文档编码器,使用最新的无监督对比学习方法 SimCSE 进行训练,结合基于函数 Bregman 散度的凸神经网络以提高输出文档表示的质量,实验证明该方法在法律和生物医学领域的三个长文档主题分类任务中 - 学习经验 Bregman 散度用于不确定距离表示
本文介绍了如何通过深度学习,从数据中直接学习经验 Bregman 分歧,然后在五个公开数据集上展示了该方法的有效性,特别是在模式识别问题方面。
- 关于 Bregman 离差与正则化马尔可夫决策过程中价值的关联
当前策略与最优策略之间的 Bregman 距离与当前值函数次优性在正则化的马尔可夫决策过程中存在关联,该结果对多任务强化学习、离线强化学习和函数逼近下的后悔分析等具有重要意义。
- 鲁棒马尔科夫决策过程的一阶策略优化
研究如何解决具有不确定转移内核的折现,有限状态,有限行动空间 MDP 的强鲁棒性问题,旨在寻找一个抵抗传递不确定性的最佳策略。与标准 MDP 规划相比,本文提出了一个名为 RPMD 的策略型一阶方法,并对于两种递增步长的情形,建立了寻找 ε - ACLSoftmax 交叉熵和负采样的统一解释:以知识图谱嵌入为例的案例研究
本篇论文通过对 softmax 交叉熵与负采样损失函数的 Bregman 距离统一解释,得出理论研究结果,证实其在实际环境中的有效性。
- 深度直接密度比估计的非负 Bregman 散度最小化
本文旨在解决 BD 最小化在高度灵活模型(例如深度神经网络)方面常常出现的过拟合问题。作者提出了一种经验 BD 估算器的非负校正方法,并在实验中证明了该方法的有效性及其在基于异常点检测的 “内点” 类问题上的表现。
- 分布式镜面下降算法用于在线复合优化
本文提出了基于近似镜像下降的一类在线分布式优化算法,以 Bregman 距离为测量函数,包括欧几里得距离作为特例,考虑两种标准信息反馈模型,并通过在线分布式正则化线性回归问题的仿真结果验证了算法的性能。
- 超参数非线性模型的随机镜像下降:收敛性,隐式正则化和泛化
本研究主要探讨过参数模型中采用 stochastic mirror descent 方法,在足够小的步长下,通过初始化接近全局最小值,其可以收敛和迭代到一种接近 Bregman 散度且具有更好泛化性能的解决方案,并探究该方法中不同的隐式正则 - 利用平滑凸代理实现结构化预测的一般理论
本文提出了一个理论框架来进行结构化预测,其将多标签,排序回归和图匹配等任务的损失统一了起来,并可以获得条件随机场和二次代理等现有代理方法上的新结果。
- 收敛速度为 O(1/n)的随机组合最小二乘回归
考虑由二次函数的期望值和任意凸函数组合成的复合目标函数的最小化问题,我们研究了随机双均值算法在恒定步长下的特性,证明其无需强凸假设即可获得 O (1/n) 的收敛速度,从而将欧几里得几何中关于最小二乘回归的较早结果扩展到了 (a) 所有凸正 - Wasserstein 空间中的惩罚重心
介绍了一种对于随机测度支持的 Wasserstein 重心的正则化方法,该方法通过凸惩罚来实现。该方法能够在更加真实的情况下,即只访问从未知分布中抽取的随机变量数据集的情况下,比较由 n 个绝对连续概率度量组成的数据。最后分析了一组 n 个 - AAAI情感分析半监督自编码器
研究使用自编码器进行文本数据建模的监督学习方法,并利用 Bregman 散度加权得到自编码器的新损失函数,在 6 个情感分析数据集上显示其比竞争方法更有效,并同时展示了该模型能够利用无标签数据进行改进。
- 在线交替方向法(长版本)
本文介绍了一种基于交替方向方法的高效在线优化算法,该算法可在具有线性约束的情况下解决在线凸优化问题,并探讨了两种在线情景,基于目标函数和是否需要附加 Bregman 距离,同时建立了综合和强凸函数方面的后悔界,并证明了在线处理的收敛性。此外 - Bregman 交替方向乘法算法
本文介绍了镜像下降算法和交替方向乘子法,提出了 Bregman ADMM 框架,实现了问题结构的利用,并且在质量传输问题中实现了大规模并行计算。
- Bregman 散度作为估计非归一化统计模型的通用框架
该研究论文阐述了 Bregman 散度能够提供精确估计不满足归一化条件的连续或离散随机变量的统计模型,并证明了噪声对比估计、比率匹配和分数匹配等最近的估计方法属于该方法,最后探讨了提升在无监督学习中的作用。