- 分布式个性化经验风险最小化
该论文提出了一种新的个性化经验风险最小化(PERM)范式,以便从异质数据源中学习,而不对参与设备共享的计算资源施加严格的约束。在 PERM 中,我们旨在通过有效估计数据分布之间的统计差异来学习每个客户端的不同模型,从而实现所有局部分布的最佳 - 准曼哈顿瓦瑟斯坦距离
Quasi Manhattan Wasserstein Distance (QMWD) 是一种指标,用于衡量两个矩阵之间的差异,它将 Wasserstein Distance 的元素与特定变换相结合。与曼哈顿 Wasserstein 距离 - 制造业中基于情境赌博机的集合主动学习
在线感知和计算资源在工业物联网系统(Industrial Cyber-physical Systems,ICPS)中促进了以人工智能为驱动的决策制定。然而,数据质量的问题,如不平衡类别,阻碍了离线训练的人工智能模型。为了解决这个问题,人工智 - 超越一种偏好适用于所有情况:多目标直接偏好优化
多目标直接偏好优化(MODPO)是一种不依赖强化学习(RL)的算法,通过使用多个收集到的反馈和特定加权的收益模型,训练不同的语言模型以满足不同的偏好,以更高效地生成多样化的解决方案,使用了比 MORLHF 更少 3 倍的计算资源。
- 有限资源条件下的语义解析
这篇论文探讨了语义解析中的挑战,特别关注有限数据和计算资源的情况,提供了使用自动数据处理、知识转移、主动学习和持续学习等技术的解决方案。
- 跨语言和方言中的亲属词汇多样性
通过两个大规模案例研究验证了一种方法,用于丰富计算词典中与语言多样性相关的内容。这种方法通过研究亲属称谓的领域,在七个阿拉伯方言和三种印度尼西亚语言中证实了多样性的存在。结果为丰富之前对亲属称谓的语言学研究提供了扩展,并揭示了即使在语言和文 - 学习具有高成本特征的计算效率机器人
我们提出了一种通用的离线学习方法,其中考虑了输入特征的计算成本,通过将成本约束纳入到决策变换器的扩展中,从而在推断过程中限制其成本,使模型能够在每个时间步动态选择最佳输入特征。我们通过 D4RL 基准和类似于视频游戏中的复杂 3D 环境等多 - 朝向绿色人工智能软件系统:基于架构的方法(GAISSA)
现今,基于人工智能的系统在不同领域取得了杰出的成果,并超越了人类。然而,训练 AI 模型和从中推断出来的过程需要大量的计算资源,在当前能源效率的社会需求中面临重大挑战。为了应对这一挑战,本研究项目论文描述了 GAISSA 项目的主要愿景、目 - 监督图像分割的两种方法
通过深度学习和基于多集合的方法对图像进行分割,深度学习方法展示了其优势,并且多集合方法在要求较少计算资源的情况下也能获得令人鼓舞的精确度。
- CVPR改进的分布匹配用于数据集浓缩
通过分布匹配的方法,我们提出了一种新的数据集精简方法,有效地减少了计算资源的使用,使得数据集精简能够应用于更大的数据集和模型。
- 迈向序数数据科学
本文讨论了用于测量和计算序列结构的不同方法,并展示如何从中推断知识,以建立序数数据科学作为一种全新的研究议程。这将对心理学、社会学、经济学、网络科学、知识工程学和科学计量学等多个学科产生广泛影响。
- 通过次线性激活神经元识别来实现高效 SGD 神经网络训练
本文提出了基于静态半空间报告数据结构的神经网络训练方法,通过几何搜索实现亚线性时间的激活神经元识别,并证明该算法可以在 O (M^2/ε^2) 的时间内收敛,其中 M 是系数范数上限,ε 是误差项。
- ICML预测管道解码:实现精确 LLM 解码的运算延迟平衡
本文提出了一种名为 “预测管线解码(PPD)” 的方法,该方法采用额外的计算资源来并行化当前令牌解码期间下一个令牌解码的启动,从而加快了大型语言模型的贪婪解码速度,并降低了解码延迟。
- WaveMixSR: 图像超分辨率的高效资源神经网络
提出了一种新的神经网络,基于 WaveMix 架构,用于图像超分辨率,不同于基于 transformer 的模型,WaveMixSR 使用离散小波变换进行空间令牌混合,可以在更少的资源和训练数据的情况下实现更高的性能,同时保持较高的参数效率 - 低秩张量分解下的复数自适应系统辨识
本文介绍两种新架构来处理复数信号,以提高系统识别性能,同时只需略微增加计算资源投入。
- ACL紧缩模型的经济微调:蒸馏还是注释?
通过在六个不同的 NLP 任务上进行实验,本文发现从 T5-XXL (11B) 到 T5-Small (60M) 的蒸馏通常比注释更多数据来直接训练紧凑型模型(T5-Small (60M))更具成本效益,同时进一步证明了在不同预算情况下,最 - ICLRDiffESM: 带有扩散模型的地球系统模型条件仿真
本文提出了一种基于扩散模型的深度学习模型,能够在只需小部分计算资源的情况下,准确模拟出影响人类行为的气候极端事件,并成功地生成了地球物理模型中的现象,比如高温,干旱和降雨强度。
- 进化人工神经网络模仿《忍者神龟》之忍者大师三回归中的人类行为
本文通过开发新的方法并利用强大的计算资源,研究了进化算法和动态神经网络,并发现这些技术在多个基准测试中表现出色,并且在某些任务上达到类似于人类的水平。
- 认知计算是什么?架构及最新发展
本研究在分析认知计算 (COC) 的文献基础上,提出了 COC 的体系结构,并讨论了在 Von-Neuman、神经形态工程和量子计算等三种计算范式下的应用及未来方向。
- MLExchange:一个基于 Web 的平台,为科学研究提供可交换的机器学习工作流程
MLExchange 项目旨在通过构建协作平台来帮助不具备深度机器学习背景的科学家和实验用户使用机器学习和计算资源,旨在为科学领域中不同领域和机构的科学社区解决大规模和多样化的数据问题。