Feb, 2024

基于 Transformer 的统计参数估计

PDF
TL;DR基于 Transformer 的方法在参数估计中能够无需数学推导、密闭解、或概率密度函数，仅需单次推断即可根据样本观测值估计潜在分布的参数，与最大似然估计相比在常用分布上达到更高的精确度。
发现论文，激发创造
  • 使用比值估计实现无似然推断

    基于逻辑回归的比例估计方法作为参数统计推断的替代方法，以更丰富的总结统计信息来消除假设先验和卡方问题。

    Nov, 2016

  • 一种贝叶斯方法用于使用计算密集模型进行参数估计和预测

    本研究提出了一种基于贝叶斯模型校准的方法，通过统计公式将计算模型的输出与物理测量结果结合，从而进行推理，并估算了原子核的质量参数。

    Jul, 2014

  • 魔术师：基于样本的最大熵源分布估计

    我们提出了一种用于推断科学模拟器参数的唯一源分布的方法，并尽可能保留更多的不确定性。

    Feb, 2024

  • 贝叶斯 Transformer 语言模型在语音识别中的应用

    使用贝叶斯学习框架和变分推断优化，提高了 Transformer 神经语言模型的泛化性能和模型鲁棒性。在 Switchboard 语料库和 DementiaBank 中的实验都获得了明显的性能提升。

    Feb, 2021

  • 高维回归的置信区间和假设检验

    该文提出了一个新颖的算法，用于构建自然参数的置信区间和 p 值，并使用高维线性回归问题和一个高通量基因组数据集进行测试。

    Jun, 2013

  • 转化森林

    本文提出了一种基于参数分布变换树的转换森林算法，用于建立回归模型的条件分布，并可进行预测区间的计算和广泛的推断程序。

    Jan, 2017

  • 基于变压器的贝叶斯机器学习模型语义计量

    通过计算概率模型和观测变量的后验分布，Bayesian 机器学习方法越来越多地采用概率编程方式表达，本文提出采用一种核心函数演算对其进行基础支撑，其中包含采样先验分布和观测变量的原语，支持离散、连续和混合测度，最终通过小型命令式语言编译成因子图的计算形式，实现了大规模模型的高效率后验边缘分布推理。

    Aug, 2013

  • 贝叶斯分类器中连续分布的估计

    本文研究了贝叶斯网络概率分布的建模问题，比较了两种密度估计方法，结论表明核估计是学习贝叶斯模型的有用工具。

    Feb, 2013

  • 基于卡尔曼滤波器和平滑器的非线性动态系统参数估计

    研究用于非线性状态空间模型的近似极大似然参数估计，讨论了直接最大化似然和 EM 算法，使用 sigma 点来近似所需积分的高斯滤波和平滑算法，比较了不同阶的 unscented 变换以及高斯 - 埃尔米特积分规则得出的方法在两个模拟实验中的表现

    Apr, 2015

  • 基于 Transformer 的端到端符号回归

    本文提出了一种挑战基于遗传编程的符号回归任务的两步法的新方法，利用 Transformer 直接预测包括常数在内的完整的数学表达式，并通过给非凸优化器提供信息化的初始化对预测的常数进行细化，实验表明该方法的效果更好，在 SRBench 基准问题上的表现接近最先进的基因编程方法，并且推断速度要快数个数量级。

    Apr, 2022