- 多视角学习的 PAC-Bayesian 领域自适应边界
该论文在多视角学习环境中提出了一系列关于域适应的新结果,通过 Pac-Bayesian 理论分析泛化边界,结合了之前将多视角整合到域适应中所忽视的两种范式,并构建了一种适用于多视角域适应的新型距离,最后将新边界与之前的研究进行了对比。
- 人类与语言模型在预测重复文本时的差异
通过研究语言模型在下一个单词预测任务中的表现与人类行为模式的比较,发现人类与 GPT-2 语言模型在文本展现初期表现强相关,随着记忆(或背景学习)的作用逐渐发挥,二者的表现迅速分歧,研究发现这种分歧的原因是特定的中间层注意力头部,为此通过在 - 认知科学与人工智能中的异议的方面:解析分化与不一致
人工智能代理和人类之间以及代理之间的不同意见的管理需要进一步加深对不同意见本质的理解,其中包括对代理对物体评估的差异和代理对物体表征的差异所引发的不同意见的研究。
- 通过马尔可夫矩阵建模的蛋白质结构的分歧时间及其与序列分歧的关系
蛋白质结构的时间参数化统计模型定量推断了其二级结构保守模式的发散演化,提供了一种更好的蛋白质相关性的时间参数化序列模型的替代方案,并且从结构中推断时的准确性更高。使用贝叶斯和最小信息长度的信息理论框架,研究了蛋白质三维结构的时间参数化随机矩 - ADAM 算法固定步长的发散:一个(非常)简单的例子
在没有梯度噪声的情况下,构建了一个具有 Lipschitz 连续梯度的非常简单的一维函数,当应用 ADAM 算法以最小化该函数时,始于原点时会发散,无论选择的方法参数如何。
- 解决持续任务强化学习中无界状态空间问题
本篇论文探讨了深度加强学习算法在面对状态空间无法预测,强烈依赖于重置时的困境。通过引入 Lyapunov 启发式奖励塑造方法,策略学习可以更快、更稳定地收敛到最优解
- 关于使用嵌入、聚类和字符串进行文本生成器评估的实用性
本文探究了自然语言生成中,自动评价方法之一的 Mauve metric 在理论与实践中的缺陷,并提出了基于聚类的代替方案,通过编码句法和一致性特征来评估文本生成方法。
- AAAI离散可分解模型之间计算的差异
本研究针对离散概率分布之间计算精确差异的应用,提出在满足一定条件的情况下,使用 Markov 网络可以计算一系列函数和差异,例如 alpha-beta 差异,以高效地获得精确值。
- ICCVSkeleton-Graph: 使用深度时空图卷积神经网络从 2D 观测中进行长期 3D 运动预测
本篇论文提出了 Skeleton-Graph 模型,采用深度时空图卷积神经网络来预测 2D 姿态下未来的 3D 骨架姿态,通过图形式地建立骨骼关节之间的空间关系以解决长期姿态预测过程中的分歧问题,并引入了新的评估指标来衡量长期预测分歧程度, - 时间序列之间的可微分差异
本文提出了一种新的距离函数 ——soft-DTW 距离,并通过实验表明该函数在时间序列分类上的效果优于其他距离函数,如动态时间扭曲和 soft-DTW。
- CVPR随机平滑用于稳健性保证的扩展和限制
通过随机平滑来证明分类器决策对于对抗性噪声不变,同时对噪声稳健性的保证受到多种因素的影响,例如平滑度量之间的差异和拟合威胁模型的选择。此外,该研究证明随着 p 的增加,随机平滑受到了维度诅咒的影响。
- 关于 Nesterov 加速梯度方法在随机设置下的收敛性
研究了 Nesterov 加速梯度方法在随机逼近和有限和设置下的表现,发现使用通常的步长和动量参数,该方法在后者可能发散,进而阐明了这种方法在此情况下可能失败的原因。
- ICLR测量组合泛化能力:一种基于真实数据的综合方法
本研究提出了一种基于分子分散度最大化和原子分散度最小化的方法去构建实际应用的语言理解数据集,并通过分析三个多层次深度学习架构的表现来量化比较这种方法与其他构建复合语言理解测评基准的方法,研究表明现有的机器学习方法在复合语言理解上处于局限性表 - 宏平均 F1 和宏平均 F1
研究比较了两种计算 “宏 F1” 度量的公式,发现只有在稀有情况下这两种计算方法才可以被视为等价的,主要由于一种公式更重视产生偏向错误类型分布的分类器,这两种计算方法不仅在标量结果上会产生不同的结果,还会导致不同的分类器排名。
- GAIT: 信息论的几何方法
提出了一种相对于符号丰度和相似度的熵的概念,引申到信息论中的几个概念和定理的几何意义,提出了一种与 Wasserstein 距离方法相当的理论,但具有可以高效计算的闭式表达式,通过实验表明了所提出方法的广泛应用性。
- ICLR使用训练所提供的分歧量来量化评估 GANs
本文通过使用通常仅用于培训的散度和距离函数来对各种类型的 GAN 性能进行评估,观察了所提出的度量之间的一致性,发现测试时间指标并不支持使用相同训练时间标准的网络,我们还将所提出的度量与人类感知分数进行比较。
- ICML一阶生成对抗网络
通过引入理论框架,提出一种新的离散度量,使得生成对抗网能够做到更新方向为最陡下降方向,从而在图像生成和语言生成领域取得了最新的研究成果。
- 固定 k 最近邻密度函数估计器的有限样本分析
本研究提出了一个通用的框架,用于使用 k 最近邻算法估计非参数连续概率密度的泛函,包括熵和散度。该框架将多个先前的估计器统一起来,并提供了首个有限样本保证。
- NIPS密度泛函估计量的指数集中性
本文研究插值法估计器,对于一个或多个连续概率密度的广泛积分函数进行分析,证明了该估计器在 $d$ 维单位立方体上的密度函数收敛于速率 $O (n^{-rac {eta}{eta + d}})$, 并且估计器关于其均值的集中呈指数级,而 - 拟合优度的核检验
提出了一种非参数统计检验方法,用于判断给定样本是否来自目标密度函数,其中好度量采用使用再生核希尔伯特空间函数构造的发散度,检验统计量是基于目标密度和内核的对数梯度的经验估计的 V - 统计量,并使用野外引导过程估计空分布,适用于定量近似马尔