- 大语言模型时代语法错误修正的支柱:针对现代方法的全面考察
本文通过实验研究语法错误修正,深入研究单模型系统的细微差别,比较集成和排名方法的效率,并探讨了大型语言模型在作为单模型系统、集成部分和排名方法时在语法错误修正上的应用。我们在 CoNLL-2014-test 和 BEA-test 上分别取得 - 解释不确定性的合理性检查
在本文中,我们提出了用于不确定性解释方法的合理性检查方法,其中定义了用于不确定性解释的权重和数据随机化测试,可以快速测试不确定性和解释方法的组合。我们在 CIFAR10 和 California Housing 数据集上进行了实验证明了这些 - 反应机器学习势能面的异常检测
通过对反应性分子势能面(PES)应用不确定性量化(UQ)来检测具有较大预期误差的样本(异常值)。三种方法 —— 集成方法、深度证据回归(DER)和高斯混合模型(GMM)—— 被应用于 syn-Criegee 和乙烯基羟基过氧化物之间的 H - 基于拓扑数据分析的语言模型多样性集成
使用拓扑数据分析 (TDA) 基于距离测量,提出了估计自然语言处理 (NLP) 模型权重的方法,通过对模型的性能和相似性进行综合评估,改进了集成学习方法,提高了文本分类准确性和相关的不确定性估计。
- 深度自回归密度网络与神经集成在基于模型的离线强化学习中的比较
离线强化学习中,通过提供的系统转换数据进行策略优化;研究了基于模型的强化学习算法,并挖掘了模型学习的静态度量方法,以及模型错误对代理的最终性能的影响。
- 增强用集成方法的基于分数抽样方法
利用基于分数的采样方法引入集合模型,从而通过利用粒子集合的集体动力学来计算近似反扩散漂移,解决了在概率分布复杂、梯度不可用的情况下建模的问题。
- 在交换演算中编程分布式集体进程
近期趋势如物联网(IoT)表明了在几乎所有类型的环境中进行计算设备的密集和多尺度部署的愿景。一个重要的工程挑战是编程这些计算生态系统的集体自适应行为。本文提出了分布式集体过程的抽象概念,并在两个案例研究中使用多跳消息传播和分布式空间属性监测 - 用于鲁棒自监督表示学习的多样化独立子网络集合
通过使用多个独立的子网络组成的集成模型来提高模型性能和可靠性,并通过新的损失函数鼓励模型之间的多样性,在保持计算效率的同时,有效地改善模型的不确定性估计。在计算机视觉、自然语言处理和基因组数据等多个领域的广泛实验中,我们的方法在预测可靠性方 - 利用组件分类器的线性独立性:优化在线集成的大小和预测准确性
通过线性独立性分析研究集成大小和分类准确度之间的关系,提出了基于该关系的集成大小的方法。实证结果表明增加分类器数量提高准确度,但存在收益递减点。该研究为进一步研究集成设计的复杂动态提供了开拓途径,并为实际场景中构建高效有效的集成提供了指导。
- 多输出集成用于多步预测
该论文研究了多输出模型组成的集成在多步预测问题中的应用,通过对 3568 个时间序列数据集和 30 个多输出模型的案例研究表明,基于仲裁和分窗策略的动态集成在多步预测中表现最好。
- 扩散模型的训练数据归因
使用编码集合的互补模型来评定如何影响扩散模型的输出,可提高模型可解释性,检验训练数据对于模型输出的影响,并作为生成模型
- ICML学习集成策略的理论保证及其在时间序列预测中的应用
使用理论分析方法,我们证明了从有限或有限维族中选择最佳堆叠综合的交叉验证方法不会比最佳方案表现差得多,进一步提出了一种特定的堆叠综合族在概率预测中的应用,并通过实验结果证明了所提出方法的性能提高。
- ICML证明集合:一般具有 S-Lipschitz 的证明理论
介绍了一种称为 S-Lipschitz 分类器的新方法,用于分析集成模型的理论鲁棒性,并给出了集成模型比任何单个分类器更稳健的条件和更不稳健的条件。
- TripleE: 基于剧集重播的易用领域泛化方法
本篇论文提出了 TripleE 方法,旨在扩大学习数据集,包括学习复盘和扩增方法,该方法简单易于实现,通过增强数据空间,优于其他领域泛化方法。
- 一种可传递、自动调整的深度强化学习方法,用于成本效益高的网络钓鱼检测
本文研究了使用增强学习来动态选择并加权选择多个学习模型的效果,在此基础上提出了优化和校准方法,并将其应用于安全策略的迁移,结果显示该方法具有高度的鲁棒性。
- 分析语言模型的装袋方法
本文分析了 bagging 语言模型,并将单一语言模型与模型大小大致相等的 bagged ensembles 进行了比较。我们在自然语言理解任务中探索了一系列模型 bagging 配置,发现我们的整合方法最多只能与单一 LM 基线大致相等。 - 语言模型中的理性增强集成
论文提出了使用基于 rationale 的 ensemble 模型来提升自然语言处理任务的性能和可解释性。
- ICML利用加权平均和多样化扰动改进集成蒸馏
该论文介绍了一种基于权重平均技术和扰动策略的集成神经网络蒸馏方法,有效地将多个教师网络的功能多样性吸收到一个适合资源受限环境中使用的学生网络中,并在多个图像分类任务上显著提高了性能。
- 为何如此悲观?通过集成估计离线 RL 的不确定性以及为何独立性很重要
本研究中,我们提出了一种名为 MSG 的实用的离线强化学习算法,该算法针对每个 ensemble member 独立计算目标,利用预测值的下限来优化策略,并在流行的离线 RL 基准测试中表现出优异的性能。
- 一种解释统一化方法 -- 集成一致解释
本文研究透明度和解释与人工智能决策相关的问题。通过引入反事实解释的概念,提出一种新方法,即针对决策集合提供一致且高效的解释。