- Agent 设计模式目录:基于基础模型的代理模式集合
基于基础模型的生成人工智能代理通过提供维有区分的推理和语言处理能力主动、自主地追求用户目标,但在设计这些代理时面临诸如生成仪器性目标和计划、基础模型的错误识别等挑战。本文通过系统文献综述,提出了一个包含分析上下文、影响因素和权衡的 16 个 - U-Nets 作为信念传播:在生成层次模型中高效分类、去噪和扩散
通过研究某些生成式分层模型,本文引入了 U-Net 架构的新解释,它是一种在语言和图像领域广泛使用的树状结构图模型。我们演示了 U-Net 如何自然地在这些生成式分层模型中实现置信传播去噪算法,并以此高效逼近去噪函数。此外,我们讨论了这些发 - 构建负责任 AI 的未来:基于大型语言模型的智能体设计的模式导向参考架构
该论文提出了一个模式导向的参考架构,用于指导设计基于大型语言模型的自主代理,实现可负责的人工智能设计,并通过将其映射到两个现实世界代理的架构来评估其完整性和实用性。
- 格雷码注意力头是强大而高效的视觉学习者
通过引入多个头分类器,采用基于注意力的聚合和关注类令牌的格拉姆矩阵,提升架构的表达性能,从而在各种任务中实现无与伦比的性能。
- ICCVCOCO-O:自然分布偏移情况下的目标检测器基准测试
通过引入基于 COCO 的 COCO-O 测试数据集,研究了 100 多种现代目标检测器的鲁棒性效果,并发现了各种架构设计、数据增强和预训练技术对鲁棒性的影响。
- FalconNet: 轻量级卷积神经网络的分解
通过设计 LightNet 总体架构、抽象出 Meta Light Block、提高表示能力的空间运算器和提高初始块的通道运算器以及引入感受野的概念,我们提出了一个名为 FalconNet 的新颖轻量级卷积神经网络模型,实验结果表明,与现有 - 尺度量化的有趣特性
本研究探究量化在模型表现中的权衡是否是一种新兴特性 (emergent property),除了提出优化量化友好的训练方式可以降低表现退化的维度,我们的实验还表明异常维度不是规模的一个内在产物而是敏感于预训练时的优化条件,这一结论为更高效的 - 面向 ChatGPT 时代的负责任 AI:基于基础模型的 AI 系统设计参考架构
提出一个基于 “模式导向”“责任 AI 设计” 的参考架构,从 “基础模型作为连接器” 到 “基础模型作为单片式架构”,演进人工智能系统的架构,以提供可重复使用的解决方案,以应对新的架构演变和负责任的 AI 挑战。
- Transformer 推理的全栈优化:一项调查
本文调查了提高 Transformer 模型推理效率的不同方法,包括分析现有模型架构的瓶颈和硬件设计的影响,调度操作的挑战,以及通过神经网络架构搜索来优化 Transformer 模型等研究方向。最后,作者将这些方法应用于一个开源的全栈 D - 从架构角度重新审视残差网络的对抗鲁棒性
本文通过针对残差网络的架构设计探究在拓扑结构、深度和宽度等方面的影响,设计了一系列 RobustResNets,实验证明该网络在多个数据集和对抗攻击中表现出色,达到了 AutoAttack 鲁棒准确率的最新记录。
- 深度学习中的数据分离法则
该研究提出一种精确规律,通过深度神经网络底层到顶层的分类解决能力分析,设计网络架构,提高模型稳健性和性能,并解释深度学习预测。
- RobustART:建筑设计和训练技术鲁棒性基准测试
提出了 RobustART,对 ImageNet 的 ARchitecture 设计和 Training 技术进行了全面的稳健性调查基准,验证了对于 Transformer 和 MLP-Mixer,Adversarial 训练在稳健性方面是 - 保持梯度流动:使用梯度流动研究稀疏网络优化
本文提出了一种在优化、正则化和架构设计等方面更好地拟合稀疏网络的方法,使用 Same Capacity Sparse vs Dense Comparison 和 Effective Gradient Flow 这两种指标,得出优化器、激活函 - 对抗性文本到图像合成:综述
该论文综述了生成对抗网络在文本到图像合成方面的发展以及面临的挑战,提出了一些研究方向,包括评估指标、数据集和模型架构设计等方面的改进。
- ICMLMC Dropout 行为注记
本研究探讨了 Monte-Carlo dropout 的行为特性,并发现了一些需要注意的有趣属性,以供不确定性估计时谨慎考虑和测试。
- MM无线通信的深度学习:一种新兴的跨学科范式
本篇文章探讨了基于深度学习的无线通信的两种主流方法:基于深度学习的架构设计和基于深度学习的算法设计。旨在鼓励更多的智能无线通信研究和贡献。
- 单张图像的新型物体形状的三维重建
该研究提出了一种基于 SDFNet 的创新方法,可以通过仅仅一张图像实现对物体的三维形状进行准确预测,相对于 GenRe 和 OccNet 方法来说,该方法在对已知和未知物体的形状重建方面实现了最优性能。
- ECCV组合求解器的黑盒微分在深度图匹配中的应用
本文提出了一种可端到端学习的深度图匹配体系结构,其中包含未修改的组合求解器,并使用优化的组合求解器和架构设计的改进推进了关键点对应的深度图匹配基准的最新进展。
- 使用对抗训练从单个深度图像完成 3D 语义场景
本研究旨在探讨利用生成对抗网络进行三维场景填充的潜力与效率,并通过几个数据集的实验验证了这种模型优于传统三维卷积神经网络在一定程度具有对齐的数据集内。
- ICCV寻找 MobileNetV3
MobileNetV3 采用一种新的架构设计和自动搜索算法相结合的综合搜索技术用于优化移动设备上的图像识别任务,在分类、检测和分割等任务上实现了最新的性能水平。