Oct, 2023

大型模型中的伦理价值一致性解析

PDF
TL;DR大模型在理解、生成和操作信息和内容方面极大地提升了人工智能的能力，但是随着这些模型越来越广泛地融入日常生活，它们固有的伦理价值观和潜在偏见给社会带来了无法预见的风险。本文概述了与大模型相关的风险和挑战，调查了现有的人工智能伦理准则，并研究了这些模型局限性带来的伦理影响。从规范伦理学的角度出发，我们提出了对最新规范准则的重新评估，强调学术界合作努力在建立统一而普适的人工智能伦理框架方面的重要性。此外，我们利用道德基础理论来调查当前主流大型语言模型的道德倾向，分析了现有的对齐算法，并概述了在对齐这些伦理价值观时遇到的独特挑战。为了应对这些挑战，我们引入了一个用于对齐大模型伦理价值观的新概念范式，并讨论了对齐准则、评估和方法的有前途的研究方向，代表了跨学科构建符合伦理要求的人工智能的初步步骤。
发现论文，激发创造
  • 人工智能，价值观和对齐

    探讨人工智能对齐问题所涉及的哲学问题，明确目标并提出合理的原则方法来解决技术和规范的问题，从而达成公平的人工智能对齐。

    Jan, 2020

  • 将人工智能与共享人类价值观相一致

    本文介绍了 ETHICS 数据集，旨在通过连接社会世界知识和价值判断来评估语言模型对道德基本概念的了解程度，研究发现当前语言模型有望但能力不完整地预测基本人类道德判断，并提供了实现人工智能与人类价值对齐的一步。

    Aug, 2020

  • 关于本质和前景的研究：大型模型的对齐方法调查

    大型模型在人工智能领域取得了革命性突破，但也可能引发一些潜在的担忧。本文综合研究价值对齐方法，探究了历史背景、数学本质以及现有对齐方法（强化学习、监督微调和上下文学习）的联系、优势和局限，并讨论了个性对齐和多模态对齐作为该领域的新兴方向。最后，展望了未来对齐范式以及如何处理剩余挑战。

    Mar, 2024

  • 道义使命：对大型语言模型持续超对齐的需求

    探讨实现 AI 系统中的终身超对齐所面临的挑战，特别是大型语言模型（LLMs）；超对齐是一个理论框架，旨在确保超级智能 AI 系统按照人类的价值观和目标行动；我们认为实现超对齐需要对当前 LLM 体系结构进行重大改变，因为它们在理解和适应人类伦理和不断变化的全球情景的能力上存在固有的局限性；通过分析两个不同的例子，我们阐明 LLM 面对训练数据的限制，无法与当代人类价值观和情景相契合；最后，本文探讨了解决和可能减轻这种对齐差异的潜在策略，提出了追求更适应和响应性的 AI 系统的路径。

    Mar, 2024

  • 知情人工智能监管：通过伦理审核比较领先的 LLM 聊天机器人的伦理框架，评估道德推理和规范价值

    通过进行基于伦理的审计，该研究评估了 8 个主要的商业和开源大型语言模型（包括 GPT-4）的可解释性和可信度，比较不同模型在道德推理和伦理框架上的规范价值，以探索人工智能与人类的伦理对齐问题。研究结果表明，GPT-4 表现出了一个复杂的伦理框架，但同时也显示出对特定文化规范存在明显偏见的规范框架和令人不安的威权主义倾向。

    Jan, 2024

  • 人工智能应该有多少道德？人工智能对低水平智能风险偏好的影响

    本研究探讨了大型语言模型（LLMs）的风险偏好，以及将它们与人类伦理标准对齐的过程如何影响它们的经济决策。通过分析 30 个 LLM，我们发现了从风险规避到风险追求的广泛固有风险特征。接着，我们探讨了不同类型的 AI 对齐如何改变这些基础风险偏好，发现对齐显著将 LLMs 转向风险规避，同时融合三个伦理维度的模型表现出最保守的投资行为。通过复制一项先前的研究，该研究使用 LLMs 根据公司收益电话会议记录预测公司投资，我们证明了尽管一些对齐可以提高投资预测的准确性，但过度对齐会导致过于谨慎的预测。这些发现表明，在金融决策中部署过度对齐的 LLMs 可能会导致严重的低投资情况。因此，在金融中应使用一种细腻的方法，平衡伦理对齐的程度与经济领域的具体要求。

    Jun, 2024

  • 从指令到内在人类价值观 —— 大型模型目标同步调查

    通过综合调查现有工作的不同对齐目标并追踪其演变路径，本文揭示了从基本能力到价值取向的目标转变，表明内在人类价值可能是提升大型语言模型对齐目标的关键，进一步讨论了实现此内在价值对齐的挑战，并提供了一系列可用资源以支持未来对大型模型对齐的研究。

    Aug, 2023

  • AI 对准逆悖论

    AI 对齐存在悖论：我们越好地将 AI 模型与我们的价值观相一致，就越容易让对手使模型不一致。为确保人类福祉，必须确保广泛研究者共同意识到 AI 对齐悖论，并努力寻求突破途径。

    May, 2024

  • 人类价值是什么，我们如何使人工智能与之相吻合？

    通过道德图表法，本文研究如何合成不同的人类价值观输入，以对齐语言模型的行为，并通过在 500 名代表性美国人身上试验证明了其有效性。

    Mar, 2024

  • AI 对齐问题的多层框架

    该研究探讨人工智能对齐问题，阐述了一个包含四个层次（个人、组织、国家和全球）的框架，分别考虑这些层次的价值观对人工智能的影响，以及这些价值观之间相互影响的方向，最后通过介绍 AI 内容审核这个案例，展示了该框架的应用。

    Jan, 2023