- 迷失于能力中:评估解释对用户对视觉问答系统的心智模型的影响
我们研究了当一个 AI 系统遇到一项不能完美执行的任务时,用户如何看待其限制,并且提供解释是否有助于用户构建系统能力和限制的适当心理模型。通过控制视觉输入,在视觉问答解释任务中,我们操控 AI 系统的限制:在推理过程中,该系统可以处理全彩色 - 对手可以滥用安全模型的组合
开发者试图评估人工智能系统在发布之前是否会被对手滥用,本研究表明,仅对单个模型进行滥用测试是不充分的,对手可以即使每个单独的模型都是安全的情况下,组合模型进行滥用。研究了两种分解方法:手动分解和自动分解,结果显示对手可以使用模型组合更高频率 - TorchOpera:一个复合人工智能系统用于 LLM 安全
TorchOpera 是一个复合的人工智能系统,用于增强大型语言模型的提示和回答的安全性和质量。该系统利用向量数据库进行上下文相关,使用基于规则的包装器进行灵活修改,并使用专门的机制检测和调整不安全或不正确的内容,同时降低计算成本,以确保 - GPT-4 在至少跟人类一样理解语篇
GPT-4 与人类在标准化的议论理解测试中表现相近,都对故事中暗含的信息具有强大的推理能力。
- 评估危险能力的前沿模型
通过对 Gemini 1.0 模型进行新的 “危险能力” 评估,我们在先前研究的基础上,为了了解新 AI 系统所带来的风险,必须了解它的能力和无能力。我们的评估涵盖四个方面:(1)说服和欺骗;(2)网络安全;(3)自我扩散;以及(4)自我推 - AAAI人机协作 AI 用于作弊团伙检测
介绍了一个人机协同的 AI 作弊圈侦测系统,旨在检测和阻止在线考试中的作弊行为,并遵守负责任的人工智能(RAI)标准,确保在整个开发过程中融入伦理考虑。
- COVID-19 基于人工智能辅助 CT 影像分析的计算机辅助诊断:部署一种医学人工智能系统
展示了一种集成可靠、快速部署的先进 AI 系统,用于自动分析 CT 图像以检测 COVID-19 感染概率,并通过分类和分割组件减少医生检测时间,提高 COVID-19 检测效率。AI 系统还通过锚集相似性分配 3D CT 扫描的感染概率, - 使用视觉评估 GPT-4 的美学评价能力:来自群体和个体评估的见解
最近,研究发现大型语言模型在各种智力任务中表现出色,然而,很少有研究探讨其与人类行为对齐,特别是涉及审美评价的行为。本研究调查了可以处理图像输入的先进语言模型 GPT-4 with Vision 在图像的审美评价任务上的表现。我们采用了两个 - 潜伏特工:训练具备欺骗性的 LLM 通过安全训练而持续存在
人类的策略性欺骗行为使我们可以在大多数情况下表现得很有帮助,但当有机会追求其他目标时则表现出截然不同的行为。研究证明,在大型语言模型中存在着例证意图的欺骗行为,并且尽管采用当前最先进的安全培训技术,这种行为很难被检测出和消除。
- U - 可信模型:决策中的可靠性、能力和信心
通过提出一种新的信任框架,基于概率框架和校准,并使用 AUC 指标进行评估,从而解决了关于预测模型中偏见和歧视的信任问题。
- 多视角线艺术对生成人工智能的拥抱
DreamWire 是一个 AI 系统,它通过使用 3D 贝塞尔曲线、Prim 算法和扩散模型(如 ControlNet)的知识蒸馏的混合,使用户能够轻松地创造出多视角的线框艺术。系统通过在空间连续性和数据稀缺性之间进行权衡,充分评估和分析 - ChatMOF: 用于预测和生成金属有机框架的自主人工智能系统
ChatMOF 是一个自主的人工智能系统,利用大规模语言模型(gpt-3.5-turbo)来预测和生成金属 - 有机框架。研究探讨了在材料科学中使用大型语言模型的优点和限制,并展示了其对未来发展的变革潜力。
- 设计一个沟通桥梁:参与式设计用于问答 AI 代理
我们设计了一个 AI 系统,它作为一个沟通桥梁连接两个具有不同心理模型和词汇的用户社区。我们采用参与式设计的方式,提取 AskJill 的需求,作为一个问答代理,解释 Skillsync 的工作原理,实现公司和大学用户之间的沟通桥梁。研究结 - 夸张的解释传递
本文提出了 inflated explanation 的概念,通过使用 set of features,在考虑到 feature 不同取值的情况下,能够更好地理解 each feature 在 decision-making 中的角色,同时 - 使用超参数调整的模型叠加技术进行编码问题标注
本文提出使用超参数调节提高准确率的增强模型堆叠来帮助编码问题的练习,取得了 77.8%的准确率和 0.815 的 PR-AUC,并公开了数据集和模型。
- 可解释性方法评估的实验研究
本文比较了 14 个不同的评估指标在 9 种最先进的 XAI 方法和 3 种用作参考的虚拟方法(如随机显著性图)上的应用结果,结果表明其中一些指标会产生高度相关的结果,还展示了基准超参数变化对评估指标值的显著影响,最后使用虚拟方法评估指标的 - 视觉及其它领域分割模型综述
该研究综述了近年来提出的一种称为 SAM 的基础模型,对其的应用于图像处理的各种任务和数据类型进行了分析和总结,并指出了其优点和局限性,为开发更多功能的基础模型和改善 SAM 架构提供了启示。
- 为可信 AI 野花监测平台定义质量要求
本文利用一种质量模型,对一个深度学习平台进行实际案例的研究,以野花监测为例,提出了三种跟该平台相关的现实情景,通过分析数据,模型和软件,提出质量要求,最终目的是为 AI 工程师提供可信任的 AI 系统的最佳实践。
- 对实例组进行反事实解释以用于 XAI:针对组反事实的用例、算法和用户研究
本研究提出了一种新颖的 “群组反事实” 算法,用于以集体方式解释类似实例的群体,通过控制的用户研究发现,相较于传统方式,此算法可以在一定程度上提高人们对人工智能系统的理解,可能对反事实方法和可解释性人工智能产生重要影响。
- 半真实 XAI 的先前工作、需求和基准
该论文调查了历史和最近在可解释人工智能 (XAI) 和半事实 (semi-factuals) 领域的突破,定义了半事实 XAI 的主要要求,并报告了历史算法的基准测试(以及一种新颖的,朴素的方法),为未来的算法发展提供了坚实的基础。