performance gaps | BriefGPT

关键词performance gaps

搜索结果 - 7

ACLBookSQL：面向会计领域的大规模文本到 SQL 数据集
给定一份新的大规模文本转 SQL 数据集（BookSQL），研究作者通过实验与分析现有的最先进模型，发现在会计和金融领域存在显著的性能差距，进而指出有需要开发更专注于该领域的模型。
PDF22 days ago
VisualWebBench：多模态 LLM 在网页理解和解释中的发展程度如何？
多模式大型语言模型在网页相关任务中表现出了很大的潜力，评估其在网页领域的性能仍然是一个挑战，因为缺乏全面的基准测试。本文引入了一个名为 ench {} 的多模式基准测试，其设计旨在评估 ML 近几年在网页任务中的能力。通过在 ench
PDF3 months ago
解释机器学习性能差异的分层分解
解释机器学习算法在不同领域表现差异的新的非参数分层框架，提供了聚合和详细分解的方法，不需要因果知识，同时导出了消除偏差、计算高效的估算器和统计推断程序，以获得渐近有效的置信区间。
PDF4 months ago
用音韵表示减轻在强健多语言语言理解中的语言差异
多语言理解的改进方法通常在训练阶段需要多种语言，依赖复杂的训练技术，同时也在高资源语言和低资源语言之间存在重大的性能差距。我们假设语言之间的性能差距受到这些语言之间的语言差距的影响，并通过使用声素表示（具体而言，使用声素作为输入标记到语言模
PDF4 months ago
欺骗性提示对多模态语言模型的迷惑程度实证分析
通过 Quantum-Bench，我们比较了多种先进模型在对抗伪信息的能力上的表现，并提出了通过增加伪信息以增强模型韧性的建议。
PDF4 months ago
探索 LLMs 对长文问题回答的可行性
从长文摘要生成问题的方法对于 LLMs 的性能造成挑战，表明 LLMs（如 ChatGPT）与开源 LLMs（Alpaca、Llama）之间存在性能差距。
PDF10 months ago
ICLR联邦学习中的泛化是什么意思？
本文提出了一种用于区分表现差距的框架，以解决联邦学习中未见客户数据（样本外差距）与未见客户分布（参与差距）之间的性能差距，同时提出了语义综合策略，以便实现对联邦学习中一般化的现实模拟。在自然和合成联邦数据集上对此进行了观察和解释，旨在为未来
PDF3 years ago