- 您需要多少验证标签?探索标签效率模型排序的设计空间
通过使用 LEM 框架,我们在各种选择度量标准的基础上进行了系统研究,证明 LEMR 能够以很小的标注预算达到与完全标注数据集相当的结果,从而在弱监督和半监督学习设置中节约标注成本,并有效地指导大型语言模型的提示选择。
- 集成学习是否一直在变得更好?
集成方法的性能在预测度量与损失函数的选择下是否随着包含更多模型而提升得到了研究。我们发现,当考虑到损失函数的凸性时,集成的平均损失随着模型数量的增加而降低,而当损失函数是非凸的时候,优秀模型的集成性能提升,而糟糕模型的集成性能下降。
- 量子数据编码:经典到量子映射技术的比较分析及其对机器学习准确性的影响
该研究探索了将量子数据嵌入技术与经典机器学习算法相结合,旨在评估在各种模型上的性能增强和计算效果。我们探索了多种经典到量子的映射方法,包括基编码、角度编码和幅度编码,通过对包括逻辑回归、K 近邻、支持向量机以及随机森林、LightGBM、A - 高效基于奖励引导的大型语言模型集成的专家路由
利用 Zooter 方法,我们可以通过挖掘隐含的专业知识和使用奖励模型炼取奖励,实现分配每个查询到相应专业领域的大型语言模型的精确分布,以提高性能并降低计算开销。
- 透过最优控制的镜头看待提示工程
为解决复杂任务并提升人机交互效率,本研究通过最优控制框架,提出了多轮与大型语言模型的交互技术,包括扩展到多个回合的交互、合奏方法和多智能体协作,以系统化现有的 Prompt Engineering 方法,并探索理论挑战和更有效、可解释的方法 - 人工智能预测材料性质的不确定性量化方法的比较
机器学习在材料性能预测中是一个常用工具,本文研究了三种易于实施的方法来确定预测的不确定性,并比较了其在十种材料性质上的应用。
- 保持多样轨迹:促进连续控制中集合策略的探索
通过使用深度强化学习和集成方法,我们提出了一种新的集成强化学习算法 TEEN,在实验证明 TEEN 相对于仅使用子策略能够增加集成策略的样本多样性,并且在性能上表现更好,平均而言 TEEN 在经过测试的代表性环境中比基线集成强化学习算法的性 - 最大权重熵
使用贝叶斯和集成方法,在深度学习中处理不确定性量化和跨分布检测问题,通过最大熵原则来解决预测多样性不足的问题,提出了一种权重参数化的方法,通过奇异值分解来增加权重熵以实现更有效的算法。
- 基于注意力和池化的三维 CT 图像乙状结肠分割
使用修改后的 3D U-Net 架构,本研究提出一种新颖的深度学习架构,用于从计算机断层扫描(CT)图像中分割乙状结肠,结果表明采用修改后的架构能有效地进行分割,而集成方法可提高分割精度。
- 深度模型初始化对成人和儿科胸部 X 射线图像推广的影响揭示
模型初始化技术在医学计算机视觉中的深度学习模型性能和可靠性的提高至关重要。本研究探讨了三种深度模型初始化技术:Cold-start、Warm-start 和 Shrink and Perturb start,并重点研究了成人和儿科人群的胸部 - DynED:数据流分类中的动态集成多样化
提出了一种基于最大边际相关性(Maximal Marginal Relevance)的全新集成构建和维护方法(DynED),该方法在构建集成的过程中动态地将组件的多样性和预测准确性进行结合,实验结果表明,与五种最新方法相比,该方法在四个真实 - ICLR探索上下文学习的演示集成
探讨在语境学习中采用演示集成作为对简单串联的替代方法,并研究利用 GPT-j 模型进行不同集成方法的实验,结果显示加权最大集成优于简单串联平均 2.4 个点。
- 基于车辆轨迹数据的车道变更意图识别的机器学习方法比较分析
准确检测和预测车道变换过程可以帮助自动驾驶汽车更好地理解周围环境,识别潜在的安全危险并提高交通安全。本文侧重于车道变换过程,并比较了不同的机器学习方法在从高维时序数据中识别车道变换意图方面的性能。验证提出模型的性能,从 CitySim 数据 - 基于离散化的物联网稳健学习集成模型
通过集成离散化技术和集成方法,我们提出了一种基于离散化的集成堆叠技术,以提高我们的机器学习模型的安全性,通过对 28 个物联网设备网络流量的真实数据集进行白盒和黑盒攻击的性能评估,我们证明了提出的方法使得物联网设备识别模型具有鲁棒性。
- 软件问题的自动分配和分类
本论文提出了一种分类方法,使用一系列经过精心筛选的语言特征来识别错误的类型,并将错误分配给设计师、开发人员、测试人员和领导者这四个角色中的一个,表明了其更一般的解决方案。与深层语言模型相比,我们使用浅层机器学习模型和集成方法,并展示其在精度 - 集成算法处理模型不确定性下的一致解释
该研究利用集成方法,针对预测模型的不确定性问题,提高了解释的一致性,并在金融数据集上进行实验,证明了集成方法在机器学习中提高可靠性的有效性。
- 神经网络集成的太阳辐射概率预测
本文针对研究低轨道物体受热层密度影响,提出优化以 Space Environment Technologies(SET)为基础的 $F_{10.7cm}$ 预测的方法,使用神经网络集成、多层感知器和长短期记忆等模型,其中最佳模型为组合多步预 - 2023 年 ICDAR 企业文档鲁棒版面分割竞赛
该报告介绍了我们在 ICDAR 2023 Robust Layout Segmentation in Corporate Documents 比赛中的结果,使用文档布局理解的视觉模型,数据增强,集合方法,以及显而易见的趋势:采用视觉转换器方 - 深度集成和(变分)贝叶斯方法之间的严密联系
本文建立了贝叶斯、变分贝叶斯和集成学习方法之间的第一个数学严谨联系,并将深度学习中常遇到的非凸优化问题重新表述为概率测度空间中的凸优化。我们通过 Wasserstein 梯度流的广义变分推理研究统一理论,这提供了各种看似不相关的方法(包括深 - 处理 BERT 文本分类中的现实标签噪声
本文研究了标签噪声对 BERT 在监督分类任务中的影响,发现现实标签噪声可以严重降低 BERT 的分类性能,探讨了如何使用集成方法和噪声清洗方法来提高模型的稳健性。