Jul, 2023

从生成智能到可信智能的过渡：大型语言模型可以从 Cyc 中学到什么

PDF
TL;DR生成型 AI 是当前最流行的 AI 方法之一，它包括大型语言模型（LLM），这些模型被训练成可以生成看似正确但不一定准确的输出。然而，它们在推理方面存在不足，导致 LLMs 的可靠性不完全。此研究提出了一种替代 AI 方法，通过使用明确的知识和经验规则对 AI 进行教育，从而使推理引擎能够自动推导出所有知识的逻辑蕴涵关系；该方法能够得到可信且可解释的结果。然而，使用高阶逻辑的推理引擎速度较慢，因此需要采用某种快速但表达能力较低的逻辑，如知识图谱。该研究还提出了将 LLM 方法与更正式的方法相结合的思路，以实现可信的综合型 AI。
generative ailanguage modelsreasoningtrustworthyinference engine
发现论文，激发创造
  • 概念引导的 LLM 代理用于人工智能安全共设

    通过定制化的大型语言模型 (LLM) 代理，采用提示工程、启发式推理和检索增强生成的元素，以保持结构化信息，我们提出了一种高效的混合策略，利用 LLM 进行安全分析和人工智能与人类的协同设计，以提高软件工程和安全工程中的生成式 AI 的质量要求，并确保人类对生成式 AI 提供的建议负责，通过图形表述作为系统模型的中间表示，促进了 LLM 和图形之间的交互，以简化的自动驾驶系统为案例说明了我们的方法。

    Apr, 2024

  • BC4LLM：当区块链遇见大型语言模型时的可信人工智能

    利用区块链技术赋能大型语言模型以构建可信赖的人工智能，主要包括可靠的学习语料库、安全的训练过程和可识别的生成内容，同时探讨了在通信网络领域的潜在应用和未来挑战。

    Oct, 2023

  • 生成 AI vs. AGI：现代 LLM 的认知优势与劣势

    对交互式 LLM 作为认知系统的考虑，重点关注 2023 年左右的 LLMs（如 ChatGPT，GPT-4，Bard，Llama）。回顾了这些系统的认知优势，并着重关注这些 LLMs 与人类认知系统之间的实质性差异。研究发现，这些 AI 系统的许多实际缺陷可以与它们构建的基本认知架构的不足有关。作者认为，在实际情况下，通过渐进改进这些 LLMs 并不能实现朝人级通用人工智能迈进的目标。然而，这并不意味着研究和实验 LLMs 就没有助于了解人级通用人工智能，也不意味着 LLMs 不能作为整合其他思想的人级通用人工智能体系结构的重要组成部分。文章还简要提及了与 LLMs 相关的社会和伦理事项，说明虽然需要谨慎处理信息误导等问题，经济动荡也需要根据其不可预测的进程采取相应的社会纠正措施，但总体上，与现代 LLMs 相关的政策与如果已经有更可信的人级通用人工智能近似模型存在时的情况截然不同。

    Sep, 2023

  • 论大型语言模型

    本文旨在提倡对大型语言模型及其相关系统的实际工作进行重新审视，追求更高的科学精度以引领关于人工智能的哲学探索和公众话语。

    Dec, 2022

  • 大型语言模型中出现的欺骗能力

    该研究揭示了现有的大型语言模型存在伪装策略的能力，分析了它们在复杂欺骗场景中的表现，并发现引发机器心理学领域的之前未知的机器行为。

    Jul, 2023

  • 通过概率推理实现逻辑一致的语言模型

    通过引入基于原则的概率推理训练目标，本研究改进了大型语言模型的逻辑一致性和新知识推理能力。

    Apr, 2024

  • 超越 LLMs：复杂推理领域的发展

    通过神经符号化的方法，本研究使用大型语言模型进行知识获取和用户交互，搭建了 Elemental Cognition 人工智能平台，该平台在处理约束满足和优化问题方面优于传统的大型语言模型，拥有更高的有效性和性能。

    Feb, 2024

  • LLM 是否是严格的逻辑推理者？通过对比逐步解码增强自然语言证明生成

    通过引入先进的思维链接策略和分步证明生成对小规模语言模型进行微调，增强了逻辑推理能力，成功提升了语言模型完成复杂推理任务的效果。

    Nov, 2023

  • 大型语言模型逻辑推理的教学学习

    通过对大型语言模型的研究，我们发现它们在逻辑推理方面存在缺陷，导致其在任务解决中产生反事实的答案。为了解决这个问题，我们提出了多种策略，赋予大型语言模型逻辑推理能力，从而使其能够在不同场景中生成更符合逻辑的答案。我们还通过构建一个综合数据集 (LMM-LR) 对该方法进行了评估和预训练。在不同任务上进行了广泛的定量和定性分析，验证了通过逻辑训练大型语言模型的有效性和必要性，并为将来的工作提供了启示。

    Oct, 2023

  • 生成型人工智能和大型语言模型的全球学术指南概览

    本研究通过系统调查、基于文本挖掘的全球和国家指南、独立研究以及八十所大学层面的指导，提供了对教育中生成式人工智能（GAI）和大型语言模型（LLMs）的机会和挑战进行细致的理解。研究强调了在这些技术的整合过程中平衡方法的重要性，以 harness 利用其技术优势的同时，考虑伦理问题，并确保公平的获取和教育结果。最后，本文提出了促进负责任创新和道德实践，指导将 GAI 和 LLMs 整合到学术中的建议。

    May, 2024