- DiffuseHigh: 基于结构引导的无训练渐进式高分辨率图像合成
现有大规模扩散模型受限于生成 1K 分辨率图像,本文提出基于渐进方法的创新研究,在不增加额外训练成本的情况下,利用低分辨率图像辅助生成高分辨率图像,实现了对生成模型超越原有能力的探索和验证。
- 揭开 U-Net 模型中感受野尺寸对医学图像分割效果的神秘
医学图像分割是医疗应用中关键的任务,本研究探讨了 U-Net 和 Attention U-Net 架构中的感受野(RF)大小及其对模型性能的影响,研究了 RF 大小与感兴趣区域特征、模型性能以及计算成本之间的关系,提出了表示给定网络层的理论 - 控制置信成本
我们开发了一种考虑推断计算成本的随机控制方法,结合了有效编码和高效控制的概念。研究发现,代理人通过在后验概率相对精度上增加内部成本来权衡总效用和任务性能,从而实现有效控制。通过研究线性二次高斯控制,我们发现代理人在不同任务需求下转换为一系列 - SCORE:打破贝叶斯优化在高维空间中的局限的一种一维参数重新参数化技术
本文提出了一种名为 SCORE 的快速可扩展方法,通过一维重新参数化技巧打破 Bayesian 优化在高维场景下的维度诅咒,从而在不需要高性能计算资源的情况下成功寻找到针插到大海中的优化函数的全局最小值,并拟合实际数据。
- CVPR通过数据驱动的频谱视角修剪在视觉模型中发现彩票票据
神经网络修剪能够减少深度学习模型训练之前的计算成本和内存需求。我们专注于该框架,并提出了一种新的初始化修剪算法,利用神经切向核(NTK)理论将稀疏网络的训练动态与密集网络对齐。我们介绍了如何考虑 NTK 光谱中通常被忽视的数据相关部分,并通 - 训练医学图像生成对抗网络的提前停止准则
本研究提出了一种新颖的早停准则,通过定量检测训练问题来减少 GAN 的计算成本,生成多样化和高质量的生物医学图像。
- 可视锚点是多模态大语言模型的强信息聚合器
本研究提出了一种强大的视觉 - 语言连接器,通过挖掘视觉锚点并在预训练中利用其丰富的先验知识,实现高准确性和低计算成本的多模态大型语言模型。通过广泛的实验验证,该方法相比基线方法将计算成本减少了三分之二,同时表现更好,突显了 AcForme - PatchScaler:一种高效的与补丁无关的扩散模型用于超分辨率
基于扩散模型的独立于补丁的单图像超分辨率方法 PatchScaler 显着提高了图像质量,降低了计算成本,并实现了快速推理速度。
- 大规模空间数据的迭代高斯过程近似方法
高斯过程是灵活的概率回归模型,但其计算规模受限;本文提出了全尺度近似方法,通过预测过程和协方差截尾相结合,减少计算开销,并引入新的预处理器和迭代方法以提高计算速度和预测方法准确度,在实验中证明它相较于现有方法在减少计算时间的同时,具备相同的 - ReActXGB: 一种混合二进制卷积神经网络架构,用于提高性能和计算效率
提出了一种名为 ReActXGB 的混合模型,在 FashionMNIST 基准测试中,ReActXGB 在 top-1 准确率上优于 ReActNet-A 1.47%,同时减少了 7.14% 的浮点运算和 1.02% 的模型大小。
- 与速率失真理论相协调的程序归纳
我们通过在多个任务之间构建共享的程序库,提出了一种折中方法,其中在描述长度、误差和计算成本之间进行三向权衡,从而适应了心理表示采用编程形式的情况,该方法在仿真的旋律任务中表明共享程序库提供了全局权益,但这是以对教材敏感的代价为代价,这也是人 - 仅需图表?无需训练的轻量级数据不可知神经架构搜索
通过将神经结构转换为图形并使用平均度量作为代理评估指标,我们的 nasgraph 方法显著降低了训练自动设计的神经网络模型候选的计算成本,实现在 217 CPU 秒内从 NAS-Bench201 的 200 个随机采样架构中找到最佳架构,并 - 深度学习中小卷积核的高效高阶卷积
通过提出一种新的方法来实现低内存和计算成本的高阶 Volterra 滤波,在 DCNN 训练的前向和反向传播过程中具有计算优势,并基于该方法提出了一种名为 Higher-order Local Attention Block(HLA)的新型 - 在高光谱图像中实施 Hottopixx 方法进行端元提取
本研究通过有效的 Hottopixx 方法,实现了从真实高光谱图像中提取端元成分,其估计结果比现有方法更准确。
- 联邦学习隐私攻击效率研究
在这项研究中,我们从效率的角度研究了联邦学习中的隐私攻击,并提出了一种提高联邦学习中隐私攻击效率的框架(EPAFL)。通过系统评估代表性的联邦学习隐私攻击的计算成本,我们发现有很高的优化效率的潜力。我们还提出了三种早停技术来有效地减少这些隐 - MMWaveDH: 基于小波子带引导的卷积神经网络在高效图像去雾中的应用
WaveDH 是一个新颖而紧凑的 ConvNet,利用小波分解从特征层中提取低频和高频组件,以提高处理速度并实现高质量重建,在频率感知的基础上对特征进行了优化,以在计算成本和准确性之间取得有利的权衡,通过大量实验证明,WaveDH 方法在多 - 大型模型的参数高效微调:综合调查
通过介绍 Parameter Efficient Fine-Tuning 算法以及系统实现相关内容,该论文对大模型在计算成本方面的问题进行了综述,提供了对性能和系统实施的深入洞察,为研究人员了解最新发展和实际应用提供了不可或缺的资源。
- CVPRvid-TLDR: 轻量级视频 Transformer 的无训练自由标记合并
提出了轻量级视频 Transformer(vid-TLDR)的训练免费的令牌合并策略,通过合并背景令牌并通过关注图捕捉显著区域来提高视频 Transformer 的效率。实验证明,vid-TLDR 显着减轻了视频 Transformer 的 - 特征对齐:在预训练模型背景下重新思考有效主动学习的代理
通过代理模型选择方法、保留有价值的预训练信息整体提高了高效主动学习的总成本和计算效率。
- CVPRDistriFusion:高分辨率扩散模型的分布式并行推理
通过利用并行处理和分布式计算,我们提出了 DistriFusion 方法以应对扩散模型在生成高分辨率图像时面临的计算资源和延迟的挑战。DistriFusion 方法能够以较低的质量损失,在多个 GPU 上实现高效率的图像生成,并通过异步通信