高维学习中的非渐近不确定性量化
本研究回顾了当前深度学习中不确定性量化（UQ）方法的最新进展，其应用于计算机视觉，医学图像分析，自然语言处理等领域，并调查了这些方法在强化学习中的应用。接着，我们概述了UQ方法的几个重要应用，并简要概述了UQ方法面临的基本研究挑战，讨论了未来在此领域的研究方向。
Nov, 2020
介绍一种无需分布假设或模型假设，可用于任何预训练模型（如神经网络）生成100%正确性置信区间（信赖区间）的方法， 称之为一致预测；并提供了Python示例代码和Jupyter笔记本来说明此方法在计算机视觉、自然语言处理和深度强化学习等领域上的应用。
Jul, 2021
本文介绍了一个包含不确定性建模、解法和评估的完整框架，用于量化神经网络中包括噪声、有限数据、超参数、过度参数化、优化和采样误差及模型错误等多源的误差和不确定性，特别关注向无限维函数空间中的偏微分方程和操作映射的学习，包括一个在原型问题上进行的广泛的比较研究。
Jan, 2022
本文提出了一个新的正则化的自适应tau-Lasso估计器，用于分析响应变量和协变量受到强烈污染的高维数据集，能够同时使用自适应L1范数惩罚项降低大真实回归系数与降低偏差的关联性，具有良好的鲁棒性和可靠性，表现比同类估计器更好或接近最佳，特别是在污染数据和期望回归矩阵/响应向量的情况下。同时也在探索鲁棒性质方面进行了验证。
Apr, 2023
使用一种名为 PNC 预测器的方法，仅使用一个辅助神经网络，并结合适当的低计算重采样方法，以最低限度的开销建立了几种方法，利用仅四个训练网络就能构建渐近精确覆盖置信区间。
Jun, 2023
我们研究了在协变量和响应函数都存在重尾污染的情况下, 强鲁棒回归估计器的高维特性。尤其是, 我们针对一族包括无二阶甚至更高阶矩不存在情况下的椭圆形协变量和噪声数据分布, 提供了M-估计的锐性渐近特性描述。我们表明, 尽管具有一致性, 在存在重尾噪声的高维情形中, 优化调整的Huber损失与位置参数δ是次优的, 强调了需要进一步正则化以达到最佳性能的必要性。这个结果还揭示了δ作为样本复杂性和污染的函数的一个有趣的转变的存在。此外, 我们导出了岭回归的超额风险的衰减速率。我们表明, 对于有限二阶矩的噪声分布, 岭回归虽然是最佳的且适用的, 但当协变量的二阶矩不存在时, 它的衰减速率可能会更快。最后, 我们展示了我们的公式可以方便地推广到更丰富的模型和数据分布, 如对混合模型的任意凸正则化训练的广义线性估计。
Sep, 2023
利用深度神经网络学习目标函数的深度非参数回归近年来成为研究的焦点，尽管在理解收敛速度方面取得了相当的进展，但缺乏渐近性质阻碍了严格的统计推断。为填补这一空白，我们提出了一种新的框架，将深度估计范式转化为一种有利于条件均值估计的平台，利用条件扩散模型。在理论上，我们为条件扩散模型开发了端到端的收敛速度，并建立了生成样本的渐近正态性。因此，我们可以构建置信区间，便于进行鲁棒的统计推断。此外，通过数值实验，我们在实践中检验了我们提出的方法的有效性。
May, 2024