Mar, 2024

语言模型能够减少信息市场的不对称

PDF
TL;DR这篇论文通过建立一个开源模拟数字市场，利用语言模型驱动的智能代理人代表外部参与者买卖信息，解决了买方对信息市场的检查悖论。代理人具备评估特权信息质量和选择性遗忘的能力，使得卖家能够临时授权专有信息的访问，从而显著减少未经授权的保留风险，同时使代理人能够准确衡量信息与特定查询或任务的相关性。实验证明，语言模型存在偏见导致非理性行为，可以通过评估和缓解这些偏见、调查价格如何影响信息商品的需求，以及检查和增加预算对结果质量的提升等方面来改善。
buyer's inspection paradoxinformation marketsdigital marketplaceintelligent agentslanguage models
发现论文，激发创造
  • 走向可信的语言模型：大型语言模型信息质量的研究

    大型语言模型产生信息速度快，但信息质量不可信，由于预训练中的不可靠和有偏见的标记化导致信息质量下降，进而导致虚构和伪造信息。本文引入了一种新的数学信息质量评估方法，并分析了信息质量挑战和语言模型的可伸缩性规律。

    Jan, 2024

  • 信息不对称下的协作任务自主代理

    LLM-MAS 利用 iAgents 和 InfoNav 机制在信息不对称的情况下实现任务解决，同时引入 InformativeBench 评估 LLM 代理人的能力，展示了在社交网络中协作完成任务的实验结果。

    Jun, 2024

  • ChatShop: 与语言代理商进行交互式信息搜索

    我们使用网络购物任务作为示例，将其重新定义为一个信息检索任务，并引入购物者角色作为一个受限通信通道，以此来评估语言智能代理系统探索和积累信息的能力。我们的实验证明，该任务能够有效地评估代理系统通过多轮交互获取和积累信息的能力。同时，我们发现基于 LLM 模拟的购物者在错误模式方面与真实人类购物者存在相似性。

    Apr, 2024

  • 语言模型：困惑者指南

    给定人工智能素养的重要性，本研究撰写了本教程，旨在帮助缩小学习语言模型（如 ChatGPT 等产品的核心技术）的研究者与对其感兴趣并希望了解更多的人之间的差距。总之，我们相信研究人员和教育工作者的观点可以增加公众对这些技术的理解，超越目前仅有的极其专业或由产品供应商生成的宣传材料。通过将语言模型概念与基于其构建的产品、产品所表现的行为以及与人类认知相似性的主张区分开来的方法，我们提供了（1）以实验研究为研究对象的科学观点；（2）将当前的语言模型置于其发展研究的背景中；（3）描述了目前对这些模型的已知范围。

    Nov, 2023

  • 不确定语言与信仰差异

    提出一种可以模拟信息存在多重解释的多智体模态逻辑框架，通过不同语义捕获不同情况下智体对于信息二义性的设想，并论证 Aumann 定理在存在二义性时不成立，探究了假设公共优先（即没有二义性）和假设共同初始信念（即共享初始信念）之间的权衡。

    Mar, 2012

  • 语言模型是少样本学习的管家

    使用预训练语言模型和简单的强化学习算法，无需大量专家示范即可在文本环境中操作并取得 51% 的成功率改进。

    Apr, 2021

  • 大型语言模型的知识清洗

    我们探索了一种知识消毒方法，用于减轻与大型语言模型（LLMs）相关的隐私问题。我们的方法通过微调模型，在查询特定信息时，促使其生成无害回答，如 “我不知道”。实验证实，我们的简单方法不仅最小化了特定知识泄漏，还保留了 LLM 的整体性能。这两个优势加强了对提取攻击的防御，并减少了产生幻觉等有害内容的排放。

    Sep, 2023

  • LLM 有针对性的低效率问题主要影响弱势用户

    通过对三种领先的大型语言模型 (LLM) 和两个不同的针对真实性和事实性的数据集进行深入实验，我们研究了 LLM 响应质量在信息准确性、真实性和拒绝方面如何随用户的英语水平、教育水平和国籍的不同而变化。我们的研究结果表明，领先的 LLM 模型在不可取的行为方面存在不均衡，对英语水平较低、教育水平较低和来自美国以外的用户具有更多的不可取行为，从而使这些模型对于最弱势的用户成为不可靠的信息来源。

    Jun, 2024

  • 评估语言模型代理的方法与谈判

    通过协商游戏来共同评估语言模型的性能和对齐情况，发现开源模型目前无法完成这些任务，合作协商游戏具有挑战性，最强大的模型并非总是 “赢家”。

    Jan, 2024

  • 机制的竞争：追踪语言模型处理事实和反事实的方式

    我们提出了机制竞争的概念，通过分析大语言模型的内部运作机制的相互作用，揭示了机制之间的竞争是如何发生和影响最终预测结果的。我们使用逻辑值检查和注意力修改两种解释性方法，在模型组件中找到了机制和它们之间的竞争痕迹，并发现了可以有效控制某些机制强度的注意力位置。

    Feb, 2024