Apr, 2019

深度 pNML：深度神经网络的预测性归一化最大似然

PDF
TL;DR研究了深度神经网络模型类中预测归一化极大似然（pNML）方案及其相关可学习性度量，发现在对抗攻击方面具有鲁棒性，可用于检测样本类别分布不均、噪声标签等情况，且可作为基准学习者竞争的学习器生成 “两次通用” 的解决方案。
predictive normalized maximum likelihooduniversal learningdeep neural networkempirical risk minimizationadversarial attacks
发现论文，激发创造
  • 个体数据通用监督学习

    本文从信息论的角度探讨了通用监督学习问题，提出了一个名为 Predictive Normalized Maximum Likelihood (pNML) 的学习方案，并证明其在特定测试任务的学习能力超过了当前基于经验风险最小化 (ERM) 的领先方法。

    Dec, 2018

  • 基于离线模型的正态化最大似然估计优化

    本文提出了在数据驱动的优化问题中利用归一化极大似然估计器解决不确定性和变化范围问题的方法，并通过在各个领域（如化学、生物学和材料工程）的高维设计问题中进行的实验验证了该方法的有效性。

    Feb, 2021

  • 一种新的旧问题视角：线性回归的通用学习方法

    通过通用学习的角度重新审视线性回归问题，研究了标签 y 和特征向量 x^T 的线性组合表达式及其学习可行性，证明在训练数据的相关矩阵特征向量构成的子空间上，即使参数个数 M 多于样本个数 N，线性回归也可以具有很好的推广性能。

    May, 2019

  • 异常语言的极小极大和 Neyman-Pearson 元学习

    为提高 MAML 方法在跨语言自然语言处理中的鲁棒性，本文提出了两个基于最小化最大风险和约束性分布分别的构思而实现的改进版本：Minimax MAML 和 Neyman-Pearson MAML。这两种标准均构成了可微分的两人博弈。研究者在 POSM 和 QA 两个自然语言处理任务中对比了它们与其他方法的效果表现。

    Jun, 2021

  • 稀疏深度神经网络的统计学习

    基于经验风险最小化与 l_1 正则化的深度神经网络估计器，我们推导出其在回归和分类（包括多类别）中的过量风险的一般界限，并证明它在各种函数类的整个范围内几乎达到最小值（取对数因子）。

    Nov, 2023

  • 深度人工神经网络中经验风险最小化对一般化误差的分析：在数值求解 Black-Scholes 偏微分方程中克服维数灾难

    探讨深度神经网络假设类上基于经验风险最小化 (ERM) 的新分类和回归算法在高维偏微分方程数值解中克服维数灾难的条件，并说明在多项式时间内只需合适数量的样本即可获得解。

    Sep, 2018

  • 神经马尔可夫逻辑网络

    介绍了一种神经马尔可夫逻辑网络 (NMLNs) 的统计关系学习系统，其借鉴了马尔可夫逻辑的思想，通过神经网络隐式表示逻辑规则作为关系结构上的潜在势函数，克服了基于神经符号方法的嵌入缺失等问题，在知识库补全、三元组分类和分子 (图) 数据生成方面有较大的应用潜力。

    May, 2019

  • 概率部分多标签学习

    这篇论文介绍了一种新颖的概率方法，名为 Partial Multi-label Learning（部分多标签学习），在这种方法中，每个训练实例对应一组候选标签，其中只有一部分是正确的；与现有方法相比，它不需要次优的消岐，因此可以应用于任何深度架构；在人工和真实数据集上进行的实验证明，Partial Multi-label Learning 在候选集中噪声高的情况下表现出色，优于现有方法。

    Mar, 2024

  • 一个用于训练神经概率语言模型的快速简单算法

    本文提出了一种快速而简单的基于噪声对比估计算法的 NPLM 训练方法，用此方法训练了几个神经语言模型并在 Microsoft Research 句子完成挑战数据集上取得了最先进的结果，有效地降低了训练时间。

    Jun, 2012

  • 大边际神经语言模型

    我们提出了一种大间隔准则来训练神经语言模型，该模型的训练与最小化困惑度不同，通过增加语句的 “好” 和 “坏” 的间隔以进行特定任务的再评分，实验证明我们的方法在语音识别上可以减少 1.1 WER，在机器翻译中可以增加 1.0 BLEU。

    Aug, 2018