- ACL自然语言生成指标在系统水平的统计优势
本文分析了自动测量指标和人类判断系统质量估计方面的优劣,指出在人类判断样本数少或对比系统之间质量差异小时自动测量指标能优于人类判断。
- 缓解校准误差估计中的偏差
研究 AI 系统在决策中的可靠性,提出了一种新的校准误差评估方法,并分析了常见神经结构的同类输出,提出基于等质量分组的估计器可以降低偏差,提出两种可靠的校准误差估算器,并观察到重新校准方法的有效性和模型渐进失真检测的提高。
- 近线性时间内的最优鲁棒线性回归
研究了高维稳健线性回归问题,在受到对抗性破坏的情况下提出了估计方法,包括样本复杂度,恢复保证,运行时间等关键指标,并利用近期算法发展的加速算法和高斯舍入技术等方法来优化估计器的运行时间和统计样本复杂性。
- 通过正则化拉格朗日算子进行离策略评估
通过将 distribution correction estimation (DICE) 家族的估计器作为相同线性规划的正则化拉格朗日乘子统一起来,我们扩展了 DICE 估计器的空间到新的替代方案,分析了估计器的扩展空间,发现双重解决方案 - 鲁棒线性回归:多项式时间内的最优速率
本文提出了一种在数据为超收缩分布、存在不可避免的敌对噪声情况下,基于平方和框架的线性模型学习算法,该算法的收敛速度与扰动的比例成幂率关系,能达到理论最优收敛速度且在先前研究中未被发现。
- 带有隐藏变量的图模型中因果效应的半参数推断
本文提出了针对单个处理和单个结果涉及种类繁多的隐藏变量有向无环图的人口水平因果效应的 influence function-based 估计器以及重要类别的隐藏变量 DAG,该类别在处理满足一个简单图形标准的情况下,生成调整和前门函数,同时 - 多类别分类中的校准测试:一个统一的框架
文章讨论了多类别分类中的概率模型拟合和校准问题,并提出了一种基于矩阵核的估计器来解释校准度量的测试统计量。
- 理解变分互信息估计器的局限性
论文提出并实现了一种新的基于神经网络的相互信息估计方法,该方法能够有效地减少方差并针对基准测试任务展现出更好的偏差 - 方差权衡性能。
- 噪声矩阵补全的线性形式的统计推断
基于矩阵的噪声观测,我们构建了一个弹性框架以推断其线性形式,我们提出了一种构建渐近正常估计量的普遍过程,以进行双重样本去偏差和低秩投影,从而允许我们构建线性形式的置信区间并检验假说。
- 收缩双重鲁棒离线评估
提出了一个基于重要性权重收缩的新框架,用于设计背景依赖赌博机的估算器,得到了三个估算器,包括一个新的收缩估算器和第一个用于组合行动集的收缩估算器,并在基准问题中进行了广泛的实验,表明该估算器高度适应性,并且通常优于现有的方法。
- 一种健壮均值估计的统一方法
本研究发展了稳健统计中 Huber 的 epsilon 污染模型和重尾噪声模型的连接,并在此基础上提供了一种简单的变体,用于 Huber 模型中的均值估计,同时具有鲁棒性和计算效率。进一步地,我们的算法采用最优统计鲁棒策略,实现了在两个模型 - 影像化沟通和直觉教学:影响函数
通过与梯度、线性逼近和牛顿 - 拉弗森方法的连接,提供影响函数估计器何时如何优于标准 “插入式” 估计器的具体、视觉化示例。
- 离散状态空间上的遍历马尔可夫链核的统计估计
本文研究了从一个单一的长序列状态观测中估计离散状态马尔可夫链核参数的统计复杂性。我们表征了(模对数因子而言)在算子无穷范数意义下估计最小化信赖样本复杂度的有限情况,而在可数无限情况下,我们则分析了基于总变差导出的自然逐项方式规范的问题。我们 - 利用伪示例优化从头开始的小样本神经网络学习
该论文提出了一种利用知识蒸馏的方法来训练具有有限训练数据的神经网络的技术,该方法引入了一些新的 pseudo training examples,通过这些伪样本更好地优化了模型参数。实验结果表明,与传统的基线和知识蒸馏方法相比,该方法表现出 - 使用成对距离估算混合熵
提出一种基于混合成分之间的成对距离函数的家族估计器,该家族具有许多优越的性质,可用于计算混合熵,并在优化最大化 / 最小化熵和互信息的问题中非常有用,例如 MaxEnt 和速率失真问题。
- 高斯健壮学习:高效获得最优误差
本文针对高维高斯分布参数学习问题进行了研究,提出了鲁棒估计算法,在拥有少量恶意样本的情况下实现了 $O (ε)$ 精度的估计,同时也证明了算法的多项式时间复杂度和多项式数量样本要求。
- 先验概率转移的菲舍尔一致性
介绍了 Fisher 一致性作为无偏性估计量的可取属性,通过三个分类器的实例证明无偏性概念的实用性。
- 通过 $k$- 最近邻距离高效估算多元熵
本文提出一种基于加权平均值的熵估计器,利用 $k$- 最近邻距离和加权项来实现局部渐进极小化极小化损失下的效率估计,可以在任意维度上获得高效估计,并促进了渐近最小宽度熵的置信区间的构建。
- 广义多重重要性抽样
本研究在多个 proposal 分布下建立了一个新的 Importance Sampling 方法,支持多个 proposal 下的权重分配并可以通过优化 proposal 分布的选择来提高算法效率。
- 关于 Gibbs 后验变分逼近的性质
本文通过变分逼近 Gibbs posterior 的优化分布,从而实现和原始 PAC-Bayesian 程序同样的收敛速度,以替代通常过慢的 Markov chain Monte Carlo 方法,在多个学习任务中(分类、排名、矩阵完成)取