- 揭示隐私、记忆和输入曲率之间的联系
通过推导上限并利用 CIFAR 和 ImageNet 数据集的深度模型进行验证，本文不仅探索了 DNN 中记忆化与输入损失曲率之间的联系，还建立了差分隐私、记忆化和输入损失曲率之间的理论联系，进一步证实了理论预测和实践结果之间的强相关性。
- 深度学习中信息瓶颈的更严格界限
使用变分近似方法为信息瓶颈提供新的、更紧的下界，从而提高先前基于信息瓶颈的深度神经网络的性能，并显著增强分类深度神经网络的对抗鲁棒性。
- 视网膜中的信号处理：可解释的图分类器预测神经节细胞响应
从数据中学习可解释的基于图的分类器以预测视觉刺激下的节细胞发射；通过学习正半定 (PSD) 距离矩阵来定义图节点 (视觉事件) 之间的马氏距离，从而导出边权和可进行二元分类的组合图；通过图的半定规划来优化距离矩阵的目标，结合 Gershgo - 在线敏感采样下的低转换策略梯度与探索
本文提出了一种 LPO 算法来解决强化学习中的政策优化问题，其中包括限制 eluder 维度和在线灵敏度采样等最近进展的应用，可以实现一定程度的非线性函数逼近，通过使用深度神经网络验证了理论方法的成果。
- MoreauGrad：通过 Moreau 包络稀疏且鲁棒地解释神经网络
本文提出了一种基于分类器神经网络 Moreau 包络的 MoreauGrad 解释方案，可以平滑、稳健地解释多层神经网络，并能与 $L_1$-norm 正则化技术自然结合，输出适用于各种深度学习应用的稀疏或组稀疏解释，实验证明该方案在计算机 - CVPRFew-Shot 学习的 MAML 全局收敛和灵感理论神经架构搜索
本文证明了使用过参数化的深度神经网络的元学习在全局最优点处具有线性收敛性，并提出了一种新的无训练神经架构搜索方法 MetaNTK-NAS，该方法使用 Meta Neural Tangent Kernels 对架构进行排名和选择，并在 min - ICLR通过基于组的子集扫描实现生成模型的创造力表征
本研究探讨了如何将人类创造力研究的成果应用于生成式深度学习模型中，通过提出基于组的子集扫描方法，从深度神经网络中检测到异常的节点激活，从而更好地表征生成模型的创造性输出。实验证明该方法是有用的，并且通过将其选择出的图像子集呈现给人类评价者， - AAAI通过干预解释潜空间
本研究通过使用干预机制，利用离散变分自编码器来转移预测类别，进而可视化任何隐藏层的编码信息和对应的被干预表示来揭示深度神经网络的隐含概念，并通过评估原始表示与被干预表示之间的差异来确定可改变类别的概念，从而提高模型的可解释性。我们在 Cel - 工具变量回归中学习深度特征
本研究提出了一种新的方法，即深度特征工具变量回归（DFIV），用于解决仪器、处理和结果之间可能是非线性关系的情况。通过训练深度神经网络，定义仪器和处理的信息非线性特征。采用交替训练模式确保优良的端到端性能，解决了应用传统仪器变量回归可能存在 - ICMLSDE-Net：为深度神经网络提供不确定性估计
我们提出了一种基于随机动态系统视角的量化深度神经网络不确定性的新方法，即神经随机微分方程模型 (SDE-Net)，并证明了其存在唯一解的性质，实验证明该模型在不确定性占据重要角色的一系列任务中优于现有的不确定性估计方法。
- 基于深度神经网络的梯度元学习的全局收敛性和泛化界
通过证明过参数化 DNN 是收敛于全局最优解，我们回答了 GBML with DNNs 是否具有全局收敛保证的问题；进一步证明了 GBML 等效于从过去的任务中传播经验的功能梯度下降操作，并证明了过参数化 DNNs 的 GBML 的泛化误差 - 学习深度核函数进行非参数双样本检验
本文提出了一类基于核函数的两样本检验方法，其使用由深度神经网络参数化的核函数以确定两个样本集是否来自同一分布，适用于高维、复杂的数据，并在基准和实际数据上证明了其卓越的性能。
- AAAI利用正则化证据神经网络量化分类不确定性
本文介绍了一种称为 “规则化 ENN” 的新方法，旨在基于不同特性相关的正则化学习 ENN，以更好地对类别概率中的不确定性进行建模，通过对合成和真实数据集的实验，证明了所提出的规则化 ENN 可以更好地学习模拟不同类型的数据不确定性的 EN - 使用完全合成数据进行雾天场景的语义理解
本文提出了一种使用全新的纯合成数据进行实时雾天交通场景视觉分割的方法，并展示了其在真实数据上的适用性和与以往方法的对比优势。
- 非凸学习的随机梯度下降算法 (无需假设梯度有上限)
本文研究证明了随机梯度下降在非凸学习中，无需统一梯度有界性假设也能达到最优收敛率的情况，并在一定程度上对于一般非凸目标函数和梯度主导的目标函数实现了几乎必然收敛。特别地，在方差为零的情况下可以得到线性收敛。
- 学习不变表示以进行领域自适应
本文针对无监督域适应学习中常见的假设提出了简单反例，证明了这些假设并不足以保证域适应的成功；提出了一种基于信息理论的弱化条件，并证明了任何试图学习不变表示的域适应方法的联合误差都存在一种基本的权衡；最后，通过实验验证了理论结果。
- 利用 Feynman-Kac 形式的 ResNets 集成来提高自然和鲁棒的准确性
提出了一种基于传输方程最优控制理论的 ResNets 集合算法，该算法通过给每个残差映射的输出添加方差指定的高斯噪声的方式修改基本 ResNets 算法，并通过平均多个经过联合训练的修改后的 ResNets 产生的预测结果来提高抵抗 IFG - ECCVARiA：利用 Richard 曲线控制深度神经网络中激活函数的非单调性
本文介绍了一种新颖的激活单元 ARiA，它可以有效地应用于深度神经网络（DNNs），并且表现比传统的 ReLU 要好得多。该函数是专门 Richard's 曲线的两个参数版本，它是非单调的，类似于新引入的 Swish，但是可以通过变换超参数 - 高维完全非线性偏微分方程和二阶反向随机微分方程的机器学习逼近算法
本文介绍一种新的用于解决高维金融模型中的非线性偏微分方程的方法，该方法包含非线性现象、深度神经网络和随机梯度下降类型优化过程，并通过海量数据的数值结果证明了该方法的高效性和精确性。
- 深度矩阵表示学习
本研究提出了一种使用矩阵而非向量表示信息的深度神经网络分布式表示方法，并衍生出若干新型深度网络结构，展示其在手写数字识别、人脸重构、序列学习、EEG 分类和基于图像的节点分类等任务中的高效性和紧凑性。