- ACL神经语言模型的表示能力与思维链式推理
现代语言模型的性能已通过思维链推理得到改进,思维链推理扩展了语言模型的计算能力,但也引入了类别错误,为此我们在概率模型中形式化思维链推理,并通过对序列生成模型的表示能力进行研究,证明它们可以表示与概率图灵机相同的字符串分布。
- 强化学习在空间资源分配中的应用调查
本文总结和回顾了近期利用强化学习解决空间资源分配问题的理论方法和应用研究,提供了其基本原理、相关方法论和应用研究的综合概述,同时突出了未解决问题的一些紧迫性需求。
- 拾獲的鬣狗:将 Transformer 精简为长卷积模型
介绍一种使用知识蒸馏进行架构间转移的方法,通过将注意力头替换为 Hyena,提供一种高效且经济的大规模语言模型预训练方法,既能处理长篇文本又能提高推理速度和准确性,以在 AI 领域追求可持续发展。
- 探索无服务器计算对点对点训练机器学习的影响
通过将无服务器计算与点对点网络相结合,提出了一种在资源限制下实现高效并行梯度计算的新型架构,相比传统的点对点分布式训练方法,在梯度计算时间上取得了显著提升,同时也引入了更高的成本。
- 数据同化的神经 Koopman 先验
使用大规模数据集、计算能力和神经网络架构,基于 Koopman 算子理论的神经网络架构在动力学系统的潜在空间中对数据进行线性描述,从而实现了长期连续重现,包括在时间序列不规则采样情况下。并展示了训练过的动力学模型作为新型数据同化技术的先验的 - 深度学习的证明:方法、挑战和未来方向
利用计算能力进行区块链的安全性和完整性维护的一种机制是深度学习证明 (PoDL),本文调查了 PoDL 的各种方法、算法类型、优缺点及其潜在应用,并讨论了实施 PoDL 的挑战和未来研究方向。
- ICCV对时序动作定位模型的数据效率和计算效率进行基准测试
本文研究了时间动作定位中当前深度学习模型在数据和计算能力受限制的情况下的性能表现,并发现 TemporalMaxer 模型在数据受限情况下表现最佳,推荐 TriDet 模型在训练时间受限时使用。另外,通过将不同长度的视频输入模型进行推理,发 - 深度学习的速度限制
神经网络训练需要极高的计算能力,本文应用了随机热力学近期的进展来界定训练网络从初始权重分布转化为完全训练好的网络的速度上限,针对线性和可线性的神经网络提供了这些速度上限的解析表达式,发现在一些合理的缩放假设下,学习是在缩放意义上最优的,与卷 - ACL并行权衡:Log-Precision Transformer 的局限性
本研究证明了计算精度对数与输入标记数量相关的 transformer 神经网络可以通过常深度对数空间均匀阈值电路进行模拟,并且从复杂性理论的角度提供了关于 transformer 网络计算力的见解,这表明如果 L≠P,那么 transfor - 使用 Tucker 分解压缩视频中的 CNN 内核:走向轻量级 CNN 应用
该研究使用 Tucker 分解对预训练卷积网络的卷积核进行压缩,以在移动设备上应用于视频数据并降低网络复杂度,在 THETIS 数据集上进行测试,结果表明比较相似的准确度,但相对于内存压缩的因子高达 51 倍,而实际计算速度提升却不足预期
- NAS-Bench-NLP: 自然语言处理神经架构搜索基准
本文的研究内容是基于文本数据集的循环神经网络搜索空间,旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中,研究者在文本数据集上训练了 14k 种循环神经网络结构,并进行了内在和外在的评估,最终测试了多个神经架构 - ACL有限精度 RNN 在语言识别中的实际计算能力
本文研究了有限精度的 RNNs,证明 LSTM 和 Elman-RNN with ReLU activation 比 RNN with a squashing activation 和 GRU 更加强大,可以实现计数行为,并且实验证明了 L - 现代深度学习方法的参考工作负载
本文介绍了一个基于 TensorFlow 深度学习框架的工具集 Fathom,在研究 8 个深度学习模型的基础性能特征方面展开,从时间分配、性能特征、推理和训练行为等方面进行了分析。
- 使用递归卷积网络理解深层结构
本文考察卷积神经网络中层数、特征图数量和参数数量对模型性能的影响,结果表明,增加层数和参数数量都有明显改善,而特征图数量(和表示的维度)对模型性能影响较小,更应关注这些层中的参数数量。
- 百量子比特量子退火
该篇文章介绍了基于超导通量量子位的 108 量子比特 D-Wave One 设备的量子退火实验结果,证明设备能够执行量子退火,作者使用了优化过的经典算法来比较该设备的计算能力。
- 量子查询复杂度的下界
讨论量子计算机的计算能力,介绍已知的证明下限的技术,并对其进行实例和比较。
- 融合致密二元引力波的匹配滤波:计算成本和模板位置
本文估算了匹配滤波搜索引力波中的模板数量、计算能力和存储需求,并考虑了六种噪音曲线和不同探测器的影响,为更复杂策略的评估提供基准,并提供了模板放置的算法。