绿色跑者：高效的深度学习组件选择工具

Jan, 2024

绿色跑者：高效的深度学习组件选择工具

Green Runner: A tool for efficient deep learning component selection

Jai Kannan

TL;DR通过大语言模型的推理能力，本研究提出了一种新颖的工具 oolname，可以基于自然语言提供的应用场景自动选择和评估模型，并通过将问题描述中的约束和权衡因素整合到模型选择过程中来实现资源高效的实验引擎。初步评估结果表明，与临时评估和蛮力方法相比， oolname 是高效和准确的。这项工作是朝着能帮助减少对具有机器学习功能的软件日益增长需求所引起的环境影响的能源高效工具迈出的一步。

Abstract

For software that relies on machine-learned functionality, model selection is key to finding the right model for the task with desired performance characteristics. Evaluating a model requires developers to i) select from many models (e.g. the Hugging face model repository), ii) select

model selection evaluation approaches large language models training strategy trade-offs

发现论文，激发创造

Green Runner：用于从模型仓库中有效地选择模型的工具

本研究介绍了一种名为 GreenRunnerGPT 的新型工具，基于特定用例高效地选择深度学习模型。它利用一个大型语言模型来建议质量指标的权重，优化资源利用，并利用多臂赌博机框架评估模型，考虑权衡。我们证明 GreenRunnerGPT 能够在不浪费计算资源的情况下找到适合目标用例的模型。

May, 2023

低资源场景中 PoS 标注器模型的建模

在资源匮乏的情景下，我们评估了早期学习曲线估计作为选择在非深度学习者应用的最适模型的实用机制，以提高性能并控制成本。使用西伊比利亚 - 罗曼斯语族中的加利西亚语作为案例研究，实验结果与我们的预期一致。

Feb, 2024

评判评判者：针对在线评论生成的神经语言模型的大规模评估研究

本文研究自然语言生成的评估方法，并通过自动化评估和人工评估的比较，发现词汇重叠是自然语言生成的较好评估指标，而人工评估与自动化评估在排名上存在较大差异，因此呼吁重新考虑自然语言生成的评估目标。

Jan, 2019

着眼决策感知和通用化的大规模语言模型工具使用

通过提出一种决策感知和具有一般化的工具使用框架（DEER），本文旨在增强开源 LLMs 在操作工具方面的能力。通过构建工具使用样本和新颖的工具采样策略，DEER 在各个数据集上证明了其有效性和显著优于基准模型。

Feb, 2024

ToolEyes：大规模语言模型在实际场景中工具学习能力的细粒度评估

现有对工具学习的评估主要集中在验证大型语言模型（LLMs）与预期结果的工具选择的一致性上。然而，这些方法依赖于一组有限的可以预先确定答案的场景，与真实需求相背离。此外，过于关注结果忽略了 LLMs 有效利用工具所必需的复杂能力。为解决这个问题，我们提出了 ToolEyes，一个精细的系统，用于评估 LLMs 在真实场景中的工具学习能力。该系统细致地检查了七个现实世界的场景，分析了对 LLMs 在工具学习中至关重要的五个方面：格式对齐、意图理解、行为规划、工具选择和答案组织。此外，ToolEyes 还采用了一个拥有约 600 个工具的工具库，充当 LLMs 与物理世界之间的中介。涉及三个类别的十个 LLMs 的评估结果表明对特定场景有偏好，并且在工具学习方面的认知能力有限。有趣的是，模型尺寸的扩大甚至加剧了对工具学习的阻碍。这些发现提供了对推动工具学习领域的有益见解。

Jan, 2024

生成模型的自动评估与指令调优

基于指令调优的学习度量可以提供自然语言生成的自动评估，通过对多任务的联合训练，可以进一步改善性能，对未来的少量或无人标注数据的任务具有积极意义。

Oct, 2023

利用执行反馈提升语言模型对学习者的帮助

该研究主要介绍了一种名为 TRICE 的基于执行反馈的二阶段端到端框架，使语言模型通过从工具执行中得出的反馈不断学习，从而学习何时以及如何有效地使用工具，实验结果表明，TRICE 可以通过减少模型对工具的依赖性来选择性地使用工具，同时提高性能。

May, 2023

TOOLVERIFIER：通过自验证实现针对新工具的泛化

通过自我验证方法，在语言模型中学习使用工具是构建通用助手的重要里程碑，但仍然是一个尚未解决的问题。本研究介绍了一种通过自我对比问题在工具选择和参数生成过程中区分相似候选项的方法。在 ToolBench 基准测试的四个任务上进行了大量实验，包括了 17 个之前未见的工具，结果显示相较于少样本基准线平均提高了 22％，即使在候选工具之间的区别非常微妙的情况下也能有效改进。

Feb, 2024

选择迁移哪个模型？在庞大的数据集中寻找关键之针

本文提出一种基于悔意的模型选择框架，探讨了对于视觉任务模型选择的通用策略与任务相关策略，并且通过具有代表性的数据集验证了一个简单高效的混合搜索策略的有效性。

Oct, 2020

通过图学习的模型动物园进行模型选择

通过分析预先训练的深度学习模型的元数据，并捕捉模型和数据集之间的内在关系，研究人员提出了一种名为 TransferGraph 的新框架，将模型选择问题重新定义为图学习问题，并在 16 个真实数据集上进行了广泛实验，发现相较于现有方法，TransferGraph 在预测性能和实际微调结果之间的相关性上有 32% 的提升。

Apr, 2024