- ACLConSiDERS 人类评估框架：重新思考生成式大型语言模型的人类评估
通过借鉴用户体验研究和人类行为心理学等学科的见解，我们在这篇论文中讨论了生成式大型语言模型（LLMs）的人工评估应该是一项跨学科工作，以确保实验设计和结果的可靠性。我们强调了认知偏见如何混淆流畅信息和真实性，以及认知不确定性如何影响评分（如 - 克服先入为主偏差：人工智能和可解释性人工智能在决策支持中的潜力
信息系统经常被设计为利用锚定偏误的负面影响来影响个人的决策（例如通过操纵购买决策）。最近人工智能和可解释人工智能解释其决策的进展为减轻有偏见的决策开辟了新机会。迄今为止，这些技术进步克服锚定偏误的潜力仍然不清楚。为此，我们在购买决策背景下进 - 等等，全都是令牌噪音？一直以来都是：使用 Shapley 值解释 LLM 行为
利用合作博弈理论中的 Shapley 值独特方法解读大型语言模型的行为和量化每个提示组件对模型输出的相对贡献，揭示了被称为 “标记噪声” 效应的现象，该现象引发对大型语言模型在人类行为模拟中获得见解的健壮性和普适性的担忧。该研究强调在依赖大 - 认知驱动的语言模型中的词序普遍规律
语言的世界呈现出特定的类型学或意向性普遍现象；例如，主 - 宾 - 动 (SOV) 的语序通常使用后置词。通过语言模型的计算模拟，我们研究了语序普遍现象。我们的实验表明，具有类型学典型语序的语言模型的困惑度较低，其中包括认知可行的偏见：句法 - 应对医疗语言模型中的认知偏差
这项研究开发了 BiasMedQA 作为一种新的基准测试方法，评估大型语言模型在医学任务中受认知偏差影响的程度，并发现 GPT-4 对偏差具有较强的韧性，而 Llama 2 70B-chat 和 PMC Llama 13B 则受偏差影响较大 - 在 LLMs 中重新定义 “幻觉”：朝着心理学指导的框架缓解错误信息
通过基于认知偏见和其他心理现象的心理分类学，我们质疑将 “幻觉” 一词应用于大型语言模型，并利用人类内部解决类似挑战的见解来开发缓解 LLMs 幻觉的策略，为提高 LLM 的可靠性提供细致精确的理解和可操作的途径。
- 通过多智能体对话增强诊断准确性：利用大型语言模型减轻认知偏差
通过大型语言模型 (LLMs) 在多智能体框架中的运用，模拟临床决策过程并评估其改善诊断准确性的有效性，以应对临床决策中的认知偏差。
- 探索会话代理作为评估决策中认知偏差的有效工具
我们的研究旨在探索对话代理作为有效工具在不同领域测量各种认知偏差，我们的初步实验表明，对话代理可以有效地用于测量偏差。
- AI 幻象：仿冒偏见与人工幻觉时代的深度伪造检测挑战
本文综合分析了法医学和数字取证中的认知偏见，研究其在这些领域决策过程中的影响。它探讨了在法医调查和数字取证分析过程中可能出现的各种认知偏见，如确认偏见、期望偏见、错误自信、情境偏见和归因偏见。它还评估了减少这些情境中的认知偏见和改善决策结果 - 大型语言模型中的认知偏差：谨慎乐观与反康德改良主义
大型语言模型的偏见与认知偏差的评估：对现有模型中偏见的普遍性持谨慎乐观态度，并承认存在一些真实的偏见，并努力减少其存在。同时，讨论了人类认知偏见的理性以及非代表性数据在误导模型偏见方面的哲学含义。
- EMNLPChatGPT 的优先效应
ChatGPT 使用大量人类编写的文本进行预训练，然后在人类偏好的基础上进行微调，但它也存在选择具有先前位置的标签作为答案的优先效应，这个问题引发了研究者们的兴趣，该论文研究了 ChatGPT 的主要发现和决策灵敏度。
- ICLR大型语言模型作为评估者的认知偏差基准测试
大型语言模型（LLMs）作为通过简单提示和上下文学习的自动评估器已被证明有效。本研究汇集了四个不同规模范围的 15 个 LLMs，并通过系统之间的偏好排序来评估它们的输出响应，如 System Star 优于 System Square。我 - 向有主观观点的人解释搜索结果立场
使用搜索引擎查找信息以形成观点，搜索引擎的认知努力可能使偏见用户易受认知偏差的影响。本文通过对搜索结果进行分类和标签，并为其生成解释，研究表明标签和解释可促进多样化的搜索结果消费，但在此情境下未发现用户观点有系统变化的证据，这些结果有助于搜 - 受指导的偏见：经过指导调节的语言模型呈现出应急认知偏差
通过检验三种认知偏见（假象效应、确定性效应和信仰偏误）在经过指导调优的语言模型中的存在程度，我们的研究提供了证据表明，这些经过调优的模型表现出过去预训练模型中不存在或较不明显的偏见，进一步突出了这些偏见存在于各种模型中的事实，特别是那些经过 - 话语的黏着力：利用认知偏差和计算语言学预测决策和同义词的使用
本研究利用认知心理学和信息系统研究来预测数字平台上用户参与和决策过程。通过使用自然语言处理技术和认知偏差研究的见解，我们研究用户与数字内容中的同义词的互动。通过综合用户调查，我们评估了这种模型预测用户参与的能力，发现准确代表核心思想的同义词 - 攻防学习：网络安全游戏中的学习迁移
针对人类决策中的认知偏差设计网络防御系统已经取得了显著的成功，但该领域的研究主要集中在相对简单的攻击者认知偏差上，关于对抗行为或通过破坏攻击者行为来提高防御效果的研究较少。本文提出了一种受 Instance-Based Learning T - 谁在思考？使用 XAI 操作手册推动以人为中心评估 LLMs
本文探讨了人类中心的大型语言模型评估，并提出了心理模型，用例使用价值和认知参与三个研究重点，旨在加速人类中心式大型语言模型评估的进展。
- 模拟认知偏差对移动转型的影响
本文研究气候变化导致的人类适应问题，以日常出行（工作上下班）为例，通过设计简易互动模拟器，探讨人类认知偏差在出行方式选择中的作用，报告了三个模拟器及其应用，旨在引发人们对未来出行方式的思考，目前正在进行用户调查以评估其影响。
- 解释可减少决策中对 AI 系统的过度依赖
本文探讨了人类和人工智能决策团队的过度依赖现象，提出了一种基于成本效益框架的策略模型来平衡 AI 解释带来的成本和效益，证明了在某些情况下 AI 解释可降低过度依赖。
- AAAIBIASeD: 将非理性引入自动化系统设计
本文主张人工智能系统需要模拟、理解、甚至复制人类的认知偏差，在人机协作中扮演更加重要的角色，并提出了关于人类认知偏差和人工智能之间相互作用的研究议程及三个感兴趣的广泛领域，并为具有更好对人类偏见的人工智能系统的设计方向提出了研究方向。