derivatives | BriefGPT - AI 论文速递

关键词derivatives

搜索结果 - 10

自动微分陷阱理解
本文介绍了自动微分（亦称反向传播、AD、算法微分）的应用，其误差分类有混沌、时间平均振荡、离散化、固定点循环、查询表和线性求解器。此外，本文也回顾了调试技术及其在这些情况下的效果，为用户提供避免异常行为、更轻易地检测问题并更加实际地运用 A
PDFa year ago
ACL派生形态学提高 BERT 对复杂词汇的解释力：超神秘并不超神
本研究以 BERT 为例，探究预训练语言模型的输入分割如何影响其复杂单词的语义表示，揭示了 PLMs 可以解释为串行双路模型，最有意义的输入标记应该允许在新词汇上进行最佳泛化。通过一系列的语义探测任务，我们证明了有派生输入分割的 DelBE
PDF4 years ago
深度神经网络 Hessian 谱中离群点的三层分层结构测量
通过对参数与模型 logits 导数结构的研究，我们发现了导致 Hessian 特异值异常的二阶矩矩阵结构，该结构可以通过平均操作来近似 Hessian 的主子空间，避免高维特征值分析的需求。
PDF5 years ago
自动微分及其高效实现的综述
自动微分在计算统计学中扮演关键角色，实现高效的算法微分包括运算重载、区域内存和表达式模板等计算技术以及半解析微分等数学技术。未来仍需要将当前包的推广和更高阶微分的高效方法应用于高级算法。
PDF6 years ago
NIPS使用导数扩展高斯过程回归模型
本文提出了一种使用快速矩阵向量乘法的迭代求解方法，结合基于设阵的 Cholesky 预处理，使得高斯过程能够处理函数值与导数，从而实现了基于贝叶斯优化的核学习以及维度约减，该方法能够适用于高维度和较大评估预算。
PDF6 years ago
机器学习算法的自动微分
本文介绍了自动微分技术及其在机器学习中的应用，包括其两种主要模式和能够提高计算效率的优势。该技术具有普遍适用性，不需要先验知识，值得广泛的应用。
PDF10 years ago
平滑函数数值积分中的维度诅咒 II
该研究证明了在平滑 d 元函数，数值积分的最坏情况下发生维数灾难，证明了无限可微函数的后继导数越大，则维数灾难越明显，利用体积估计方法证明了 n 个点所构成凸包的邻域衰减速度指数级相关于维数和点的数量关系，对无限可微函数的拟多项式、弱可处理
PDF11 years ago
线性算子推广 Sobolev 空间
研究 Sobolev 空间的函数限制与其在整个空间上的函数之间存在有界线性映射的关系，并给出了限制集合为有限集合时，函数在该集合上范数的数量级计算公式。
PDF12 years ago
在流形上进行函数逼近的特征
使用一种确定性的通用算法，可以构建一个 eignet 以逼近 Lp（μ; XX）中的函数，我们给出我们的 eignet 的光滑度估计，并在最小分离成本中给出尽可能好的近似度，我们还展示了导数的 eignet 如何最优地近似目标函数的相应导数
PDF15 years ago
可解释的函数线性回归
本文提出了一种名为 FLiRTI 的方法，基于可变选择的思想，应用于 $eta (t)$ 的各种导数，以产生精确、灵活且可解释的估计，该方法在模拟和实际数据集上进行了演示，并提供了非渐近理论误差界限，为我们的方法提供了强有力的理论动机。
PDF15 years ago