- 无人机中的风估计与因果机器学习
应用因果机器学习方法,通过分析无人机的轨迹而无需专用传感器,展示了估计无人机风环境的可能性。研究了三种不同的风环境,探索了优化无人机操纵以估计风条件的不同策略。该方法可用于设计在恶劣天气条件下的最佳路径,并避免使用增加无人机重量且影响功能的 - 多任务优化中任务优先级的量化
通过连接的强度,基于多任务学习提出了一种基于连接强度的优化方法,包括任务优先级的学习和梯度修改两个阶段,从而在多个任务中找到新的帕累托最优解,大大提升了多任务性能。
- 重新思考和加速图形精简:一种无需训练的带类别分割方法
通过 Class-partitioned Graph Condensation (CGC) 方法,能够在更有效的压缩过程中实现最先进的性能。
- 通过潜在扩散模型探索上下文分割
通过使用代表性的生成模型 —— 潜在扩散模型(LDM),我们从新的角度探索了上下文分割问题,提出了两种元架构和相应的输出对齐和优化策略。我们通过全面的消融研究发现,分割质量取决于输出对齐和上下文指令。实验证明,我们的方法在挑战性的上下文分割 - 基于深度学习的 BERT 模型在情感分析中的应用研究
本研究论文探讨了深度学习技术(尤其是 BERT 模型)在情感分析中的应用,介绍了情感分析的基本概念和深度学习方法的应用。通过详细的解释,阐明了 BERT 模型在情感分析中的应用效果和优化策略,并通过实验证实了这一点。实验结果表明 BERT - 小语言模型的多模态助手全面重构
在本文中,我们研究了 Multimodal Small Language Models(MSLMs)的设计方面,并提出了一种高效的多模态助手 Mipha,旨在在视觉表示、语言模型和优化策略等各个方面产生协同效应。我们展示了在不增加训练数据量 - 线性变换器是多功能的上下文学习器
线性 Transformer 能隐式地执行梯度下降算法和找到优化策略。
- 无模型 μ- 综合:一种非光滑优化视角
我们论文通过对两种模型无关策略优化策略(非导数抽样方法和零阶策略搜索与均匀平滑)的有效性进行了研究,扩展了以模型为基础的子梯度策略优化方法到模型无关设置,并通过广泛的数值研究证明了这两种方法能够一致地复制其模型为基础的对应方法所实现的设计结 - 图形压缩:一项调查
对图形凝聚进行了全面而深入的研究,提出了 GC 的四个关键评估标准,并详细讨论了优化策略和凝聚图生成这两个关键组成部分,同时介绍了 GC 在各领域的应用和未来研究中的挑战与观点。
- 云数据中心中计算和冷却能量的动态管理的启发式算法和元启发式算法
通过结合元启发式和最佳适应性递减算法,提出新的关于功耗和热管理的策略和模型,以实现数据中心的能源效率提升,包括数据中心的计算和冷却设施,在保持服务质量的同时,提高高达 21.74% 的能源效率。
- 待定实验的自动驾驶实验室搜索策略
自动化实验室,异步并行化、延迟反馈和贝叶斯优化策略的对比及性能评估。
- 通过共线受限注意力解决 Transformer 的头痛问题
我们的研究发现了 Transformer 模型中一个被忽视的异常行为,称之为 “Transformers 的头痛”,并引入了一种名为 Collinear Constrained Attention (CoCA) 的新型自注意结构,以解决该问 - 早迟疑者输:基于 Hamilton 动力学的深度神经网络目标导向训练
本研究针对深度神经网络的高度结构化能量景观,提出了基于事件的控制机制,用于在到达预定义的损失函数降低值时从探索切换到开发;同时,我们将动量法解释为一个港口哈密顿系统,并在实验中验证了该策略的应用可以提高深度神经网络的性能。
- DeepGAR: 深度图学习用于类比推理
本文提出的基于深度学习的类比推理框架 DeepGAR 可以在满足认知理论驱动的约束条件下,通过设计几何约束嵌入空间诱导节点嵌入的子图关系以进行有效的子图搜索,并通过开发新的学习和优化策略来端到端地识别与认知理论驱动的约束条件严格一致的对应物 - 优化在 Intel Xeon 处理器上的端到端人工智能管道策略
本文研究了在 Intel Xeon 处理器上,优化终端到终端的人工智能管道,通过多种优化策略和软硬件加速在计算机视觉、NLP、推荐系统等多个领域展示了高性能,并获得了 1.8 倍至 81.7 倍的性能提升。
- PP-PicoDet: 移动端更好的实时物体检测器
本文针对物体检测中精度和效率的平衡问题,研究了关键优化和神经网络结构选择,提出了新的面向移动设备的实时物体检测器,通过多种优化实现了更好的精度和延迟性能的平衡,并优于其他流行模型。
- 量子神经网络的高阶导数与贫瘠高原现象
本研究探讨了量子神经网络中的 Barren Plateau 现象,研究发现高阶导数信息无法解决 Barren Plateau 的指数级灭减问题,因此超越(一阶)梯度下降的优化策略仍会受到 Barren Plateau 的影响。同时,我们证明 - MM大规模自优化软件的参数调整
本文探讨了自优化系统的优化策略,比如选择精确求解器还是近似求解器,针对问题规模、优化约束等因素来权衡精度和效率,以解决软件选择和硬件映射问题,并提出了一个用于参数调优的软件产品线。
- 通过经典神经网络学习量子神经网络的学习方法
本文提出一种使用经典神经网络协助量子学习的元学习方法,通过训练经典递归神经网络对 Quantum Approximate Optimization Algorithm (QAOA) for MaxCut,QAOA for Sherringt - ACL实时开放域问答与密集稀疏短语索引
本文提出了一种查询不可知的可索引文档短语表示,该表示可以大大加速开放域问答,并允许我们达到长尾目标。实验证明,该模型的计算成本降低了 6,000 倍,并且比 DrQA 更准确,可以在 CPU 上实现最快 58 倍的端到端推理基准。