- TextGram:迈向更好的领域自适应预训练
衡量和减少大型语言模型训练过程中产生的碳排放量对于绿色人工智能至关重要。我们提出了一种领域自适应数据选择方法 - TextGram,能够有效地从大规模语料库中选择关键数据,并展示了该策略在文本分类任务中相对于其他选择方法的优势。
- 高效能图像存储:利用超分辨率生成对抗网络实现可持续压缩和减少碳足迹
该研究旨在提出一种将图像压缩技术与超分辨率生成对抗网络结合的基于云存储的图像存储方法,以减少能源和资源消耗,降低碳排放,并通过 PSNR 和 SSIM 度量评估其有效性。同时提供了数学分析来计算能量消耗和碳足迹评估,该提议的数据压缩技术在环 - MM朝着可持续的安全机器学习迈进:量化对抗性机器学习的碳足迹
研究表明,机器学习在各行业的广泛应用引起了可持续性问题,由于其大量的能源消耗和碳排放。本论文首次探讨了对抗性机器学习的碳足迹,并提出了一种新的度量指标,即稳健性与碳排放之间的权衡指数(RCTI)。实验结果展示了对抗性机器学习中稳健性、性能和 - 碳排放强度感知的 DNN 自适应推理
我们提出了一种启发式算法,通过在低强度时期使用更大、更高精度的模型,在高强度时期使用更小、更低精度的模型,从而使 DNN 推理更加可持续,减少能源消耗和碳足迹。我们还引入了一个指标,即碳排放效率,以量化自适应模型选择在碳足迹方面的有效性。评 - 探索绿色 AI 用于音频深度伪造检测
该研究提出了一种新的音频深度伪造检测框架,利用标准 CPU 资源进行无缝训练,并借助自我监督学习模型的嵌入来使用经典机器学习算法,与常用的高碳足迹方法相比,取得了有竞争力的结果。
- 3R-INN:如何在消费 / 传递视频时实现环境友好?
通过提供具有最低可行质量的内容,3R-INN 有助于降低编码、传输、解码和显示的能量消耗,出色地完成了去噪和能量节约任务,并在不同的测试集上在调整大小任务上取得了最先进的性能。
- IoTCO2:评估物联网驱动的深度学习的端到端碳足迹
为了提高隐私和保证服务质量,深度学习模型越来越多地部署在物联网设备上进行数据处理,从而显著增加了与物联网上深度学习相关的碳足迹,覆盖了运营和实体方面。本文引入了 extit {CARB},一种用于物联网上深度学习精确估计碳足迹的端到端建模工 - 可持续计算的光子学
本文构建了光子芯片的碳足迹模型,通过对 ADEPT 进行案例研究,调查了光子学加速器的可持续性,结果显示光子学可以通过其高能效性以及每单位面积至少比 28 纳米 CMOS 的制造碳成本低 4 倍,从而减少操作碳足迹和制造碳足迹。
- 使用孪生神经网络分析嵌入层和相似度得分
我们的研究比较了不同的领先嵌入算法及其碳足迹的准确性,从而为每个嵌入算法提供了一个全面的审视。
- LLMCarbon:大型语言模型的端到端碳足迹建模
大型语言模型的碳足迹估算对于新的神经网络的训练前有重要意义,现有研究已报告了训练过程中的碳足迹,然而现有工具在估算碳足迹时存在一些严重限制,为填补这些空白,我们引入了 LLMCarbon,一个端到端的碳足迹预测模型,可以显著提高大型语言模型 - DL 模型和训练环境对能耗有影响吗?
本研究分析了选择适当的模型架构和训练环境可以显著降低计算机视觉模型的能源消耗,同时保持模型正确性,也发现对于更好的能源效率,GPU 应该与模型的计算复杂度进行比例缩放。
- 探究 Hugging Face 机器学习模型的碳足迹:一个代码存储库挖掘研究
本研究对 Hugging Face 仓库中 1417 个机器学习模型及相关数据集的碳足迹进行了分析,提出了提高能源报告和促进碳效率模型开发的分类建议,研究结果强调了软件测量的必要性。
- 使用神经网络集合进行考虑不确定性的车辆能耗效率预测
本文提出了一种基于深度神经网络(ENN)的集成学习方法,旨在减少交通工具能效预测中的不确定性并输出不确定性度量,该方法在公开的车辆能源数据集(VED)上表现出了高的预测性能和预测不确定性度量。
- 准确性不是唯一重要的度量标准:估计深度学习模型的能源消耗
为了解决机器学习模型能耗大导致大碳足迹的问题,我们构建了能量估计流水线,通过收集高质量的能量数据和建立的预测模型,能够预测深度学习模型的能耗。
- ICLRMAHTM:一种用于分层交易微电网的多智能体框架
该论文提出了一种多智能体强化学习框架,以优化微网中可用资源的使用,通过最小化碳足迹和收益所有利益相关者来解决可再生能源网络集成的挑战。
- ICLR实现可持续深度神经网络训练的低碳电力追求
该论文提出了一个名为 Chase 的解决方案,通过实时监控碳强度变化和控制 GPU 的能源消耗,减少了深度学习训练的碳足迹。同时,该方案还提出了一种轻量级机器学习算法,用于预测未来时间段的碳强度,实现主动适应。在 ResNet-50 在 I - 应用深度学习中的开放问题
本文探讨了如何通过双层优化问题来优化机器学习机制,并讨论了如何通过自动机器学习(AutoML)等方法来减少迭代步骤的计算成本,以及减少开发人工智能算法的碳足迹。作者还提出了在不同领域中解决这些问题的方法。
- 绿色人工智能的系统性评估
通过对 98 个文献的分析,系统地回顾了绿色人工智能研究领域。大多数研究关注于 AI 模型的环境可持续性,包括监控 AI 模型的排放量、调整超参数以提高模型的可持续性,或者对模型进行基准测试。实验室实验是最常见的研究策略。报告的节能率高达 - 估算 BLOOM 的碳足迹:一种含有 176B 参数的语言模型
本研究旨在量化 BLOOM 语言模型的碳足迹,并研究了其在训练和推断过程中的能源消耗和环境影响,结果显示其训练过程总计排放了 24.7 至 50.5 吨 CO2,同时探讨了未来研究方向以改善机器学习模型的碳排放报告。
- OPT:开放预训练 Transformer 语言模型
我们呈现了 Open Pre-trained Transformers (OPT),一个解码器型的预训练 transformers 套件,范围从 125M 到 175B 个参数,这些我们希望与感兴趣的研究人员完全和负责任地分享。 我们展示了