- 超越准确性:评估嵌入表示能力以保持结构和上下文信息
通过结合分类、聚类和 t-SNE 基于邻近性分析的评估方法以及优化技术(如贝叶斯优化)来量化嵌入式数据在捕捉结构和上下文信息方面的有效性,本文旨在提出一种衡量嵌入式数据表现能力的方法,从而为研究者和实践者选择适用的嵌入式模型提供数据支持和辅 - 数字规划中的多值部分有序计划
通过研究动作的不同发生次数来分析导致规划正式化丧失可决定性的可能原因,使用多值偏序计划的概念实现了一个 NP 完全的数值规划片段,并研究了软性前提的优化技术。
- Softmax 注意力优化的零阶算法
本文使用 Zero-th Order 算法针对 softmax 优化提出一个算法,通过使用该算法,我们的工作为复杂语言模型的优化技术的进展做出了贡献。
- 使用具有跳过连接的卷积神经网络进行脑肿瘤检测
本研究使用卷积神经网络 (CNN) 结构,对脑磁共振成像 (MRI) 图像进行分析和分类,以区分良性和恶性脑肿瘤,并采用优化技术如加宽、加深、添加跳跃连接等来提高网络的准确性,结果表明这些技术的子集可以优于基线 CNN 模型。
- 使用增强视觉 Transformer 进行图像重建
本文提出了一个基于 Vision Transformer (ViT) 的图像重构框架,利用 4 种优化技术和生成对抗网络(GANs)启发的对抗性损失函数,用于图像去噪和修复,实验表明该框架在结构相似性(SSIM)方面比 U-Net 模型高出 - 稳健的数据驱动处方优化
本文提出了一个分布式鲁棒环境下的优化模型,其中 prescriptionness 系数代替了经典经验风险最小化目标来确定最大化上下文决策质量的政策,并使用双分方法求解模型,通过研究上下文最短路径问题来评估模型的鲁棒性。
- 使用任务优化实现端到端文档分类和关键信息提取
本文提出了一种基于端到端文档分类和关键信息提取的表格自动处理方法,其中采用了文本和布局编码技术,利用余弦相似度度量来对视觉上相似的文档进行分类,进而使用混合整数规划来提取文档中的关键信息,实验表明本方法对于文档预处理等优化技术具有重要作用, - 改进的概率图像文本表示
本文提出了一种改进的概率交叉模态嵌入(PCME ++)方法,用于改进图像文本匹配(ITM)中可能存在的模糊度问题,并通过引入一种新的概率距离与解决方案以及两种优化技术来进一步增强 PCME ++。该研究表明,PCME ++ 相对于最先进的 - 非自回归文本生成的扩散模型:一项调查
本文系统介绍了最新的扩散模型在 NAR(非自回归)文本生成领域中的进展,重点介绍了扩散模型的核心设计、预训练语言模型的应用,以及优化技术等。该综述旨在为研究人员提供一个有关文本扩散模型的系统参考。
- 深度学习综述:从激活函数到 Transformer
本文提供了最近在深度学习领域中,新兴架构、优化技术、注意力、自监督学习等多个方面的全面综述。通过对这些领域中最重要和最新的研究工作的全面概述,希望帮助深度学习领域的研究人员在各领域间形成新的联系。
- 通过元启发式微调改善预训练权重
使用启发式元算法优化预训练权重可改善机器学习分类任务的结果。
- 使用深度神经网络预处理高效发现对抗样本
该论文介绍了一种预处理 DNN 以大大简化优化问题的方法,以提高 DNN 在安全和业务关键型应用程序中的鲁棒性,并通过实验证明了该方法的有效性。
- 分布式图神经网络训练:综述
这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法:GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后,本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN - 关于利用差分隐私和经典正则化技术进行优化的效用与保护
该文探讨了在深度学习模型中如何保护训练数据的隐私,比较了不同优化方法对模型性能、训练效果和隐私攻击的影响,并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。
- 模型泛化:基于锐度感知优化的视角
通过进行三个实验,我们证明了基于锐度感知的优化技术可以提供具有强大泛化能力的模型,并且进一步证明了自适应锐度感知的最小化算法可以提高非标准化数据的泛化性能,但需要进一步研究来确认。
- 混合精度神经网络综述
本文介绍了混合精度框架优化技巧的现有文献,并对常用的量化技巧进行了总结,其中部分框架运用的优化技巧为强化学习和确定性舍入,文章讨论了每种框架的优点和缺陷,并且为未来的混合精度框架提供了指导。
- 资产配置:从马尔科维茨到深度强化学习
本研究探讨了在不同市场趋势下,基于现代投资组合理论和深度强化学习的优化技术在资产配置中的效果和可靠性,并提供了代码实现。
- 熵正则化神经自然演员 - 评论家算法的有限时间分析
本文针对神经网络近似的 NAC 算法进行了有限时间分析,并指出了神经网络、正则化和优化技术在样本复杂性、迭代复杂性和过度参数化上达到证明良好性能的作用,特别地,我们证明熵正则化和平均化通过提供足够的探索避免了过于确定性和严格次优策略,正则化 - 二值神经网络的综合评述
本文全面评述了二值神经网络(BNN)的发展历程,从祖先算法到最新算法 / 技术,提出了一种广泛的设计流程,并讨论了每个模块的变体。此外,还介绍了 BNN 的应用,以及其潜在的发展方向和未来研究机会。
- KDD调参还是不调参?一种推荐重要超参数的方法
本文探讨机器学习模型性能和超参数之间的关系,通过实验结果发现了趋势和启示,并得出使用梯度提升和 Adaboost 分类器是最佳选择的结论。