- 基于模型内部的答案归属为可信检索增强生成
通过模型内部为 RAG 应用进行忠实答案归因的 MIRAGE 方法能够有效确保模型答案的可验证性,并具有与自引相媲美的引用质量和效率,同时还可以更精细地控制归因参数。
- ALiiCE:评估位置细粒度引文生成
大型语言模型可以通过生成带有引用的文本来增强可信度和可验证性。为了进一步探索细粒度引用的生成,我们提出了 ALiiCE,这是首个针对该任务的自动评估框架。我们的实验和分析证明了 ALiiCE 的有效性和合理性,同时也表明现有的大型语言模型仍 - SIGIR机器生成报告的评估
大型语言模型在自动报告生成方面仍面临完整性、准确性和可验证性等质量问题,本文提出了基于评估框架的自动报告生成视野,以满足用户的复杂信息需求,并实现对生成报告的完整性、准确性和可验证性的评估。
- 基于自治型 LLM 的从数据到可人工验证的研究论文
AI 驱动的科学研究中的透明度、可追溯性和可核实性对加速科学发现具有潜力。
- 可验证的设计:将语言模型与预训练数据中的引文对齐
我们提出了 Quote-Tuning 方法,通过在预训练数据中引用可靠来源的一字不差的陈述,将模型与 Quote 对齐,明显提高了 LLM 生成引文的准确性,同时保持了回应质量,为提高 LLM 的可靠性和核实性打开了新的途径。
- 超越黑盒策略:重新思考可解释和可验证的 HVAC 控制学习代理的设计
利用基于决策树的控制策略,优化了采暖通风空调系统的能源效率,并提供可靠性保证和安全性,与现有模型基的增强学习方法相比,能够节约 68.4% 能源并提高 14.8% 的人体舒适度。
- AFaCTA: 借助可靠的 LLM 标注者辅助事实性主张检测的注释
通过生成 AI 控制虚假信息的自动事实检查方法正在变得越来越重要,然而,事实声明检测遭遇了任务定义不一致与手动注释成本高昂的两个主要问题。为了解决这些问题,我们提出了 Automtic Factual Claim deTection Ann - ACL医疗索赔是否可验证的因素分析:实体和关系特性对事实验证的影响
通过研究实体和关系,分析其属性对生物医学主张的可验证性的影响;运用经过训练的专家对生物医学主张进行证据搜索,以构建包含三元组、证据文档和事实核查结果的科学事实验证语料库(BEAR-Fact corpus);研究表明,查找否定性主张的证据极具 - 自动事实核查的主张检测:关于单语、多语和跨语言研究的调查
自动事实核查引起了过去几十年的广泛关注, 由于在线平台上虚假信息的扩散增加。本调查主要关注多语言数据和方法,讨论现有努力检测需求核查的言论。我们提出了一项综合调查,介绍了最新的多语言言论检测研究,主要涉及可验证性,优先级和相似性三个问题因素 - 大型语言模型中的协同和贡献性属性的统一
大型语言模型的输出的可验证性取决于其解释性,本文提出了一个统一框架以解释语言模型输出,讨论了各种类型的归因并给出了真实应用案例和评估标准。
- Factcheck-GPT: 端到端的细粒度文档级事实检查与纠正 LLM 输出
该研究介绍了一种针对大型语言模型输出进行事实准确性注释的综合解决方案,包括多阶段的注释方案和注释工具的设计,以识别 LLM 输出中的可验证性和事实不一致性,并构建了三个层次粒度的开放领域文档级事实性基准。初步实验结果表明,已有工具在识别错误 - 深度学习中生成输入集的可转移性
该研究介绍了一种名为 GIST 的新方法,用于在深度学习模型之间有效传递测试集,以迁移用户所需的某个属性,如覆盖准则。实验证明 GIST 能够选择有效的测试集,并将其传递到待测试的模型中。结果表明,GIST 可应用于传递其他属性,并可适用于 - 软抓取:针对可靠性的规范
本文介绍了在发展软性机器人系统时,制定规范的重要性,提出了软性机器人夹具的举例规范,并强调了在软式夹具设计中促进可验证性作为一项主要目标。
- 评估生成搜索引擎中的可验证性
本研究对四款流行的生成式搜索引擎进行了人工评估,并发现现有的生成式搜索引擎的响应流利且具信息,但常常包含不支持的陈述和不准确的引用,尤其是其款式逼真的特点使我们更需要开发具有信任度的生成式搜索引擎。
- 神经网络控制器到决策树控制器的精确且具有成本效益的自动转换
将基于神经网络的控制器转换为等效的软决策树控制器,以提高可验证性且减小意外行为的风险。在包含 ReLU 激活函数和 argmax 操作的离散输出 NN 控制器上,提出了一种自动剪枝的精确且高效的转换算法。以 OpenAI Gym 环境中的两 - 使用人工智能提高维基百科的可验证性
使用神经网络为基础的系统 Side 帮助鉴定并更换可能无法验证主张的 Wikipedia 引用,结果表明人类对 Side 建议的更好的引用的选择有 70% 的偏好率。这为辅助事实核查并提高信息可靠性提供了潜在的新途径。
- ACL哪位语言学家发明了电灯泡?用前提验证回答问题
我们提出了一个改进的问题回答系统,可以有效处理自然问答数据集中的无法回答的问题,通过提出先决条件和验证其可验证性,并生成解释。
- EMNLP解码策略对生成文本可验证性的影响
这篇论文探究了最新的预训练语言模型生成的文本是否符合事实世界知识,并发现了在解码策略中存在着可验证性与重复性之间的权衡,提出了一种简单而有效的解码策略,可以生成更少重复且更易验证的文本。
- 引文需求:对维基百科可验证性的分类和算法评估
本文旨在对 Wikipedia 的文献引用结构进行实证研究,通过构建分类法对内联引文的必要性理由进行分类,并设计算法模型以确定声明是否需要引用,并根据分类法预测引文原因。
- ICML可编程可解释强化学习
提出了一种编程可解释性强的强化学习框架 (PIRL),使用高级领域特定编程语言表示策略,提出了基于神经网络生成的策略的可验证和可解释的替代方案,用基于神经网络的 NDPS 算法来优化 PIRL 策略,这种策略较容易被解释和验证,实验结果证明