model capabilities | BriefGPT

关键词model capabilities

搜索结果 - 7

TopViewRS: 视觉 - 语言模型作为俯视空间推理器
基于 TopViewRS 数据集，评估了代表性的开源和闭源可见语言模型在不同复杂度的感知和推理任务上的表现，并发现其性能明显低于人类平均水平，强调了提升模型在地理空间推理方面的能力的迫切需求，并为进一步研究出路提供了基础。
PDFa month ago
训练计算阈值：AI 治理中的特征与功能
该论文研究了使用计算阈值作为治理人工智能系统的工具。我们认为，计算阈值不仅是规则的唯一决定因素，还可以作为评估人工智能模型的有价值的触发器。计算阈值的关键优势包括与模型的能力和风险的相关性，可量化性，易于衡量，对规避具有鲁棒性，在模型开发和
PDF2 months ago
通过机器学习去除预训练数据对大型语言模型的影响解析
通过对 LLMs 的 48 个数据集进行系统分析，我们测量了它们对 LLMs 的性能的影响，并研究了它们之间的相关关系，从而为更有效的 LLMs 预训练提供了洞见。
PDF5 months ago
对程序化定义任务微调效果的机理分析
微调预训练模型的能力和安全性的研究表明，微调很少改变模型的底层能力，而是在这些能力之上学习了一种被称为 “包装器” 的微小转换，进一步的微调则可以使模型重新利用这些能力。
PDF7 months ago
评估结果的有效性：评估组成性基准测试的一致性
近年来，NLP 模型取得了巨大的进展，尤其是通过这方面的大量数据集进行性能评估。然而，有关特定数据集设计选择可能如何影响我们对模型能力的结论仍存在问题。本研究在组合泛化领域调查了六种建模方法在 4 个数据集上的表现，这些数据集根据 8 种组
PDF8 months ago
EMNLP伪智能：语言模型评估的统一框架
受伪随机性启发，我们提出了伪智能概念，捕捉了 “智能在于观者眼中” 的最大化原则。具体而言，我们提出了一个复杂性理论框架，将模型评估描述为模型和学习评估者之间的动态交互。我们演示了该框架可用于推理语言模型评估中的两个案例研究，并分析了现有评
PDF9 months ago
稳定的 LLaVA：通过合成的图像对话数据增强视觉指导调整
我们提出了一种新的数据收集方法，通过异步合成图像和对话以进行视觉指导调优，结合 ChatGPT 和文本到图像生成模型的能力，显著增强了多种模型功能。
PDF10 months ago