依赖数据的统计估计

ICMLJul, 2021

Statistical Estimation from Dependent Data

Yuval Dagan, Constantinos Daskalakis, Nishanth Dikkala, Surbhi Goel, Anthimos Vardis Kandiros

TL;DR提出一种基于马尔科夫随机场的方法，考虑了相互依赖的二元标签，实现了对相关数据的统计有效估计，并在逻辑回归、稀疏逻辑回归和神经网络等多个领域进行了探究。结果表明该方法可以更准确地估计参数，比传统的回归方法效果更好。在 Cora、Citeseer 和 Pubmed 等数据集中验证了该方法的有效性。

Abstract

We consider a general statistical estimation problem wherein binary labels across different observations are not independent conditioned on their feature vectors, but dependent, capturing settings where e.g. these observations are collected on a spatial domain, a temporal domain, or a social network, which induce dependencies. We model these dependencies in

dependent data markov random fields estimation rates logistic regression neural networks

发现论文，激发创造

超越正态分布：在非高斯环境中学习稀疏概率图模型

该论文提出了一种算法，用于在连续和非高斯概率分布中识别稀疏的依赖结构，并利用依赖结构来进行更准确的分布估计和推理。

Nov, 2017

基于神经网络的逐点依存关系估计方法

本文提出了两种方法（Probabilistic Classifier 和 Density-Ratio Fitting）来解决 MI 估计中存在的方差大的问题，这两种方法可以自然地获得点对点的依赖信息，为自监督学习和跨模态检索任务提供了有效方法。

Jun, 2020

3D 模拟集合中统计依赖关系的交互式可视化的神经场

本研究提出了首个神经网络，该网络已学会紧凑地表示并能够有效地重构大型三维模拟集合中不同空间位置上物理变量之间的统计依赖关系，其中对于非线性依赖关系采用了互信息进行测量，并通过大型天气预报集合进行了学习和重构。

Jul, 2023

带有马尔可夫数据的最小二乘回归：基本限制和算法

研究了最小二乘线性回归的问题，其中数据点依赖于并从马尔可夫链中采样。在不同的噪声设置下，建立了关于底层马尔可夫链混合时间 $\tau_{mix}$ 的尖锐信息理论极小值下界来解决此问题。我们发现，与独立数据的优化相比，具有马尔可夫数据的优化通常更加困难，一个只在大约 $ ilde {\Theta}(\tau_{mix})$ 个样本中工作的平凡算法 (SGD-DD) 是极小化最优的。此外，我们还研究了实践中出现的结构化数据集，例如高斯自回归动态，它们能否拥有更高效的优化方案。令人惊讶的是，即使在这个特定的自然环境下，具有一定步长的随机梯度下降法与常数并没有比 SGD-DD 算法更好。相反，我们提出了一种基于体验复盘的算法 —— 一种流行的强化学习技术 —— 它可以实现更好的误差率。我们的改进速率是第一个在有趣的马尔可夫链上优于 SGD-DD 的算法之一，也为在实践中支持使用经验回放提供了首个理论分析。

Jun, 2020

基于相关数据的学习稀疏高维矩阵值图模型

推断稀疏、高维、稳定矩阵变量高斯时间序列的条件独立图 (CIG) 问题，采用基于稀疏组套索的频域公式，并通过交替方向乘法器方法 (ADMM) 求解，结果为局部收敛到真实值的 Frobenius 范数的逼近。

Apr, 2024

弱监督模型学习依赖结构

该研究介绍了一种基于 PCA 的弱标注训练数据的学习算法，能够有效地恢复依赖结构，可以成功应用于关系提取和图像分类等实际任务中，并提出了一个关于样本复杂度的信息理论下界。

Mar, 2019

遥感应用中的非线性分布回归

该论文介绍了一种解决分布回归问题的非线性方法，它考虑了再生核希尔伯特空间中的分布嵌入，并在其中执行标准的最小二乘回归。该方法可用于不同维数和样本大小的多源数据，并通过随机傅里叶特征介绍了高效版本来处理数百万个数据点和组。

Dec, 2020

基于结构化范数最小化的图模型估计

通过提出一种基于新型结构规范的通用框架，以及使用线性化的多块交替方向乘数法算法来高效地解决该问题，我们研究了从高维数据中估计稀疏、结构稀疏和密集组件的模型。在合成和实际数据集上的实验证实了这种方法的优越性。

Sep, 2016

关系依赖关系的非参数推断

本文研究了如何在关系系统中估计数据之间的独立性，提出了一种基于核均值嵌入的方法，用于定义条件和边缘独立性测试，并在结构假设下实现了可伸缩的核测试方法。实证研究表明，该方法在合成网络和半合成网络等数据集上比基于核的独立性测试的现有方法更为有效。

Jun, 2022

时间序列数据稀疏深度学习：理论与应用

稀疏深度学习在处理依赖数据方面的预测不确定性量化、顶点估计和模型压缩等领域中已成为一种流行的技术。本文通过研究稀疏深度学习与依赖数据的理论，表明稀疏循环神经网络能够一致地估计，并且在适当假设下，其预测呈渐近正态分布，从而能够正确量化预测的不确定性。数值实验结果显示，稀疏深度学习在时间序列数据的预测不确定性量化方面优于诸如互联置信度等先进方法。此外，我们的研究结果还表明，所提出的方法能够一致地识别时间序列数据的自回归阶数，并在大规模模型压缩方面优于现有方法。该方法在金融、医疗和能源等领域具有重要的实际意义，因为准确的顶点估计和预测不确定性量化都是关注的焦点。

Oct, 2023