- DynaThink:快还是慢?一个用于大型语言模型的动态决策框架
通过引入动态决策框架,将大型语言模型 (Large language models, LLMs) 自主选择快速和缓慢推理方法,以优化效率和有效性,实验结果表明 DynaThink 相较基线方法在五个常见推理基准上更优越。
- 混合隐马尔可夫过程的表示和解交错
这篇论文提出了一种新的表示模型和相应的解交织方法,以解决隐藏马尔可夫过程的混合物的非理想情况下存在的鲁棒性问题,将解交织过程建模为生成模型的后验推断,并开发了精确推断方法和近似推断方法,模拟结果证明了该方法在非理想情况下的高效性和鲁棒性。
- 大型语言模型的模型压缩与高效推理:调研
这篇论文研究了大型语言模型的压缩和高效推理方法,介绍了分类为量化、修剪、蒸馏、紧凑架构设计和动态网络的压缩和加速算法,并提出了中型模型和真正大型模型的区分。此外,还介绍了一些用于大型模型高效推理的成熟框架,可以支持基本的压缩或加速算法,极大 - 算法公平性 - 准确性边界的推断
通过提供一致的估计器和推理方法,本文研究了决策过程中算法的公平性和准确性之间的权衡,还提出了是否排除算法训练中的某些协变量以及是否存在非歧视性替代算法等方面的假设。
- 连续时间下集合序列的概率建模
连续时间中的神经标记时间点过程为连续时间事件数据的统计参数模型工具箱增添了有价值的内容。本文提出了一个通用框架,用于建模连续时间中的集合值数据,并开发了适用于任何基于强调的递归神经点过程模型的推理方法。在四个真实世界数据集上进行系统实验,通 - 隐私保护数据的条件密度估计
在该研究中,我们提出了基于模拟的隐私保护数据集推理方法,利用神经条件密度估计器近似后验分布,纠正隐私保护机制引入的偏差,并展示了隐私与效用之间的权衡的必要性和可行性。
- 潜在高斯过程模型的 Vecchia-Laplace 近似的迭代方法
通过提出几种推理方法,我们对 Vecchia-Laplace 逼近可以进行更快的计算,并且在速度和预测准确性方面相对于基于 Cholesky 的方法有显著的改进。
- 贝叶斯神经常微分方程
本文讨论了如何通过整合贝叶斯学习框架来量化神经普通微分方程中权重的不确定性,并且展示了在 MNIST 数据集上使用 GPU 加速的 No-U-Turn MCMC 采样器、Stochastic Gradient Hamiltonian Mon - 函数空间中变分推断的理解
本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法,并指出了使用 Kullback-Leibler divergence 方法的优劣,提出了基于 Bayesian linear regression 的 benchmark 方法来评估预 - AAAI附带监督:超越监督式学习
通过多种设计好的学习范式来缓解监督瓶颈,以在文本中诱导各种语义表征,从而帮助决策,减少生成必要的监督信号导致的代价和不可扩展的问题。
- 批量蒐集资料的推断
本文发展了一种基于批处理数据的自适应数据收集的带状算法推断方法,证明了普通最小二乘估计器在标准的赌臂算法收集数据时不是渐近正常的,提出了批处理 OLS 估计器,并证明其可以适用于多臂和情境赌臂算法并且对随机变量鲁棒。
- ICML贝叶斯神经网络推断的不确定性量化质量
本研究通过对 10 种常见的推断方法在回归和分类任务中的预测不确定性估计结果进行实证比较,发现常用的指标可能会导致误导,并表明为了得到高质量的后验逼近并不一定需要具有捕获后验结构的推断创新。
- 渐近准确的数据增广:模型、属性与算法
介绍了一种名为 AXDA 的数据增强统一框架,其中包括一些较新的近似增强模型,研究显示 AXDA 模型可以从有趣的统计性质中获益,并产生有效的推断算法。
- 具有非高斯似然函数的状态空间高斯过程
本文提供 GP 建模的全面概述和工具,并使用状态空间方法处理非高斯似然。该方法使得在 o(n)时间和内存复杂度下解决一维 GP 模型成为可能。我们提出将高效的状态空间方法与现有 infernece 方法相结合的手段,包括拉普拉斯近似,变分贝