- 您的精调大型语言模型已是强大的超分布检测器
通过重新审视预训练大型语言模型和其微调变体之间的似然比作为一种区分所需分布检测的标准,我们展示了似然比可以作为一种有效的 OOD 检测器,并将其应用于问题回答系统中以改善 LLMs 在一般问题上的性能。
- FLatS:基于特征的似然比分数的原则性异常检测
通过似然比来测量测试样例 x 的 “OOD-ness”,本文主张基于似然比的新型 OOD 检测方法 FLatS,提出了一种优于现有方法的模型,该模型能够作为一个通用框架,通过整合 “out-distribution” 密度估计 $p_{ou - 高斯会员推理隐私
本文通过提出一种新的隐私概念,以及对噪声随机梯度下降 (Stochastic Gradient Descent) 下的可能性比率进行的成员推断攻击的理论分析,建立了一组 $f$-Membership Inference Privacy ($ - 机器学习研究人员关于 OOD 检测的错误信念
本文提出了一个 OOD 代理框架,统一了许多最近提出的基于似然比的方法,并指出似然比是一种原则性的 OOD 检测方法,而不是简单的方法修正。此外,还讨论了领域区分和语义之间的关系。
- 多智能体信任区域策略优化
该研究将信任区域策略优化(TRPO)扩展到多智能体强化学习(MARL)问题,提出了一种基于分布式共识优化问题的去中心化 MARL 算法 MATRPO,该算法能够基于本地观察和私人奖励优化分布式策略,实现完全的去中心化和保护隐私。实验表明,M - ICML一种端到端的验证问题方法:学习正确的距离
使用参数伪距离联合编码器进行训练,得出的学习距离模型输出远高于基于余弦相似度的简单得分器以及广泛使用的下游分类器,简化了度量学习的复杂度,可用于验证问题的端到端方法.
- 基于密度估计的异常检测
使用神经密度估计的新型无监督异常检测技术 ANODE,在区分信号区域和旁带处估计概率密度,并将旁带差值插值到信号区域,构建数据对背景的似然比,从而对局部异常的过密度进行广泛敏感。在 LHC 2020 奥林匹克研发数据集上进行实验证明,相对于 - AAAI无监督领域外检测的似然比和生成式分类器在任务导向型对话中的应用
该研究探讨了利用似然比和生成分类器的方法在自然语言输入下实现任务导向对话系统的域外检测,并提出了一种利用生成分类器和边际似然值(比率)进行域外检测的方法。
- 关于变分推断的偏差和方差注解
本文研究变分间隙与似然比方差之间的关系,结果显示,通过使似然比分布更加集中(例如通过平均和方差减小),可以减少变分推断的偏差。
- 用机器学习限制有效场论的指南
利用粒子物理过程的潜在空间结构,利用增强数据训练神经网络,从而实现在加速器实验中约束理论参数的多种推理技术,这些新技术比传统方法基于直方图的方法放置了更强的限制。
- 稳态参数的似然比梯度估计
该研究考虑了一般状态空间上的离散时间 Markov 链,研究了渐进稳态期望的梯度估计问题,并提出了两种似然比估计器并分析了它们的极限行为。
- MMAdams 条件和似然比传递调节的推理
应用于法律界的贝叶斯推理涉及多个代理人和沟通协议,探讨了似然比转移介导推理中涉及的逻辑原则和概率算术中的 Adams 调节。
- 聚类、稀疏 PCA 和子矩阵定位中的信息论限制和相变
研究了检测结构化低秩信号矩阵被加性高斯噪声污染的问题,包括在高斯混合模型中的聚类, 稀疏主成分分析和子矩阵定位。通过将第一和第二时刻方法应用于这些 “种植模型” 和零模型之间的似然比来导出阈值的上下界,我们证明了在信号矩阵过于微弱时没有任何 - 基于 Fisher 信息的主动学习目标的渐近分析
本研究提供了一种理论框架,分析了现有基于 Fisher 信息比率 (FIR) 的主动学习方法,并表明 FIR 可以渐近地被视为对数似然比的预期方差的上界,同时提出了一种更加统一的框架用于理论比较和开发基于该目标的新型主动学习方法。
- 重新审视针对分类数据的差分隐私假设检验
本文提出了一种新型假设检验方法,能够应用于含有隐私保护的差分隐私数据,并且其偏置较小、效果较好,解决了传统差分隐私假设检验方法中的问题。
- 高维半参数回归的似然比框架
提出一种基于似然比的高维半参数广义线性模型的推理框架,包括使用规则化统计制备模型、构建后规则化的置信区间和测试、发展新的浓缩不等式和正态逼近结果,以及应用于缺失数据问题的示例。