本研究提出了一种新的梯度估计方法 —— 似然比方法，用于从事各种神经网络体系结构的训练，并且相对于反向传播法，该方法能够显著提高神经网络对抗性攻击的鲁棒性。

May, 2023

该论文介绍了一种利用似然比方法构建神经网络置信区间的初步实现，提出了 DeepLR 方法，该方法具有限定数据区域扩展的不对称区间以及考虑训练时间、网络结构和正则化技术等因素的优势。尽管当前实现方式在许多深度学习应用中代价过高，但在医学预测或天体物理学等领域，对单个预测的可靠不确定性估计已经具有明确的价值。这项工作突显了基于似然比的不确定性估计的潜力，并为未来的研究打下了良好基础。

Aug, 2023

本文介绍了一种基于神经网络和优化方法的似然比函数估计的方法，可用于工程和统计领域中的检测和假设检验问题。

Nov, 2019

我们引入了一种新的摊销似然比估计器，用于无似然模拟推理（SBI），引入了一种称为直接神经比率估计器（DNRE）的模型，对先前的方法进行了改进，并在文献中与其他估计器进行了比较，同时实现了一个新的导数估计器，使得我们可以比较无似然哈密顿蒙特卡洛（HMC）和随机行走 Metropolis-Hastings（MH），最后我们通过使用神经比率估计器设计四旋翼飞行器展示了该方法的现实应用。

Nov, 2023

本文提出了一种基于机器学习和降维的新方法，用于进行无似然推断，不需要事先了解模型参数的先验分布。

Jun, 2015

本文提出了一种混合学习方法，即每个神经元使用强化学习策略来学习如何近似反向传播算法提供的梯度，并给出了对于特定类别的网络中，该方法收敛到真实梯度的证明。在前馈和卷积神经网络中，我们经验证明我们的方法学习如何逼近梯度，并且可以匹配或超越精确梯度学习的性能。学习反馈权重提供了一个生物学上可行的机制来实现良好的性能，无需精确的预先指定学习规则。

Jun, 2019

基于似然比的推理原则重新考虑，提出了使用似然比构建任意时间有效的置信序列方法，适用于具有良好似然度的问题，而且结果保持模型无关的预定覆盖率；同时，研究了如何选择最佳的估计器序列以及与在线凸优化算法（例如 Follow-the-Regularized-Leader）的关联，提出了一种去偏的重新加权方案，可用于非参数设置，并通过非渐近分析确定了广义线性模型中的置信集大小，并在广义线性赌博机问题、生存分析和带有不同加性噪声分布的赌博机上展示了方法的实际优势。

Nov, 2023

该研究提出了一种解决在科学领域中使用高级计算机模拟时出现的后验推断问题的新方法，这种方法使用学习的灵活的摊销估计量来近似似然 - 证据比率，并可以嵌入 MCMC 采样器中以从难以处理的后验中获得样本。

Mar, 2019

基于逻辑回归的比例估计方法作为参数统计推断的替代方法，以更丰富的总结统计信息来消除假设先验和卡方问题。

Nov, 2016

深度学习模型的可扩展性受到计算资源、内存和通讯的根本限制。本文在模型预训练中探索了低秩适应（LoRA）方法的应用，介绍了 LoRA-the-Explorer（LTE）算法，通过在计算节点上进行多个低秩头的并行训练来减少同步频率，使用不同视觉数据集进行广泛实验，并证明 LTE 在标准预训练中具有竞争力。

Feb, 2024