Search | BriefGPT - AI 论文速递

搜索结果 - 200

ACL发挥多重智慧的力量：从 LLM 路由中所学到的经验
我们探讨了是否可以将每个输入查询直接路由到最合适的 LLM，我们的广泛实验表明这样的路由有前景但在所有情景下都不可行，因此应该研究更加稳健的方法来填补这一空白。
PDF2 days ago
RepEval: LLM 表征的有效文本评估
自动生成文本的自动评估指标在自然语言生成领域中起着重要作用，特别是随着大规模语言模型的快速发展。然而，现有的评估指标通常局限于特定情景，因此需要新的、灵活和有效的指标。本研究介绍了 RepEval，这是第一个利用 LLM 表示的投影进行评估
PDF3 days ago
用多元模型评估 LLM 生成：将法官替换为陪审团
使用 LLm 评估员小组 (PoLL) 替代单个大模型如 GPT4 进行评估，可以在减少评估成本的情况下，展现较少内部模型偏见，并且在三种不同的评估环境和六个不同数据集上表现更好。
PDF4 days ago
检查 LLM 评估对基准分布假设的鲁棒性
基准测试作为评估大型语言模型（LLMs）的核心方法已经出现。研究界通常依赖于模型在基准测试的测试提示中的平均性能来评估模型的表现。这一点符合一个假设，即基准测试中的测试提示代表来自真实世界的感兴趣的分布的随机样本。我们注意到这一点通常并不成
PDF8 days ago
研究多轮 LLM 交互的提示泄露效应和黑盒防御
对大型语言模型（LLMs）中的提示泄漏进行了研究，发现在多轮 LLM 交互中存在漏洞和泄漏，并提出了防御策略。
PDF9 days ago
LLM-Personalize: 通过强化自我训练使 LLM 规划器与人类偏好保持一致的家务机器人
通过优化流程，个性化 LLM 规划器以适应个体用户偏好，大幅提高与人类偏好的一致性。
PDF11 days ago
从 LLM 到 NMT：借助 Claude 推动低资源机器翻译的发展
Anthropic 在 2024 年 3 月发布的大型语言模型 Claude 3 Opus 在机器翻译方面表现出比其他语言模型更强的能力。虽然我们发现 Claude 在 FLORES-200 上存在数据污染的证据，但我们整理了新的基准数据，
PDF11 days ago
MARIO Eval: 用数学评估你的数学 LLM 工具包
大语言模型（LLMs）在解决数学问题等各种推理任务中得到了探索。我们引入了一个全面的数学评估工具包，不仅利用 python 计算代数系统（CAS）进行数值精度评估，还集成了一个可选的大语言模型（LLM），以验证工具包的有效性。
PDF11 days ago
谁来验证验证者？使 LLM 辅助评估 LLM 输出与人类偏好保持一致
通过混合主动的方式，我们提出了 EvalGen 接口，用于 “验证验证器”，通过与人类需求对齐以改善与 LLM 生成评估函数（提示或代码）相关的问题。研究发现了一种现象，称为‘criteria drift’，用户需要通过对输出进行评分来定义
PDF15 days ago
只用 LLM 来按照用户指令培养文本分类器
我们的研究旨在通过用户指令生成文本分类数据，从而可以训练一个小型文本分类器，而无需任何人工注释或原始语料库。我们的提出的孵化器是第一个可以处理复杂甚至是相互依赖类别 (如 “教育家发表的 TED 演讲” 和 “其他”) 的框架，通过在分类数
PDF17 days ago
FEDSTR：AI 转型之路 - 基于 NOSTR 协议的联合学习与 LLM 培训的去中心化市场
通过基于 w3c websockets 标准的 NOSTR 通信协议，我们提出了一个在现有协议结构上构建的去中心化市场，用于联邦学习和 LLM 训练，提供了一个公平和开放的 AI 模型和 LLM 训练市场。
PDF18 days ago
揭示以度量为重点的 LLM 评估：挑战与解决方案
NLP 中，大型语言模型（LLMs）的成功推动了其显著突破，本文对 LLM 的评估方法进行了全面探索，提供了选择和解读已使用度量标准的见解，并采用最新的生物医学 LLM 进行了这些度量标准的应用比较，旨在为研究人员提供一个实用的指南，推进对
PDF19 days ago
ACLEIVEN：多模态 LLM 实现高效的隐式属性值提取
在电子商务中，准确从多模态数据中提取产品属性值对于提高用户体验和零售商的运营效率至关重要。为了解决这些问题，我们引入了 EIVEN，一个数据和参数高效的生成框架，首次使用多模态 LLM 来进行隐含属性值提取，并通过对比学习技术降低模型混淆，
PDF20 days ago
基于代理模型的序列长度预测的高效互动 LLM 服务
通过使用轻量级代理模型来预测 LLM 输出序列长度，我们提出了一种具有推测的最短作业先执行调度程序，以解决 LLM 非确定性特性并实现高效的互动式 LLM 服务。相对于 FCFS 调度程序，在无批处理、动态批处理和连续批处理设置下，对真实世
PDF21 days ago
具有 LLM 摘要的拍卖
研究了一个拍卖设置，在该设置中投标人为了使他们的内容在大型语言模型 (LLM) 生成的概要中得到展示，例如广告拍卖，其中显示的是多个广告的概要段落。研究提出了一个新的分解框架，在该框架中，通过预测模型，一个拍卖模块和一个 LLM 模块共同工
PDF22 days ago
LLM Agents 能够自主利用一日漏洞
在这项研究中，我们展示了 LLM 代理能够自主利用现实世界系统中的一日漏洞，其中数据集包含了被归类为 CVE 描述中危急程度的 15 个一日漏洞。我们的结果提出了关于高度能力 LLM 代理的广泛部署的问题。
PDF22 days ago
ACL临床记录生成的两种模型设计比较；LLM 是否是一种有用的一致性评估器？
使用 PEGASUS-XTransformer 模型，分析了两种不同的方法来生成 SOAP 记事单的不同部分，并在记事单的一致性方面进行了比较。通过人工评估发现，Llama2 等 LLM 模型可以与人类评估者达成相同的结果，从而证明 LLM
PDF24 days ago
AEGIS: 在线自适应 AI 内容安全审查与 LLM 专家集成
使用人工智能生成模型，我们定义了一个广泛的内容安全风险分类法，同时创建了一个新的数据集 AEGISSAFETYDATASET，用于研究和评估大型语言模型的安全性能。通过实验表明，我们提出的模型 AEGISSAFETYEXPERTS 不仅在多
PDF24 days ago
LLM 推理器：大型语言模型逐步推理的新评估、库和分析
该论文介绍了 AutoRace 和 LLM Reasoners，分别用于评估和实现不同的推理方法，以解决大型语言模型在生成推理链时所面临的挑战。
PDF25 days ago
通过 LLM 增强临床效率：心脏患者出院记录生成
通过使用人工智能（AI）技术，特别是大型语言模型（LLM），本研究直接解决了手动创建出院记录的低效性和不准确性问题，特别针对心脏病患者，评估了 LLM 在提高文档处理的能力方面的可行性，并证实了 Mistral-7B 的出色表现，可以通过生
PDF25 days ago