Apr, 2024

训练语言模型以模仿学生误解的回归副作用

PDF
TL;DR对于使用大型语言模型（LLM）模仿学生误解以进行个性化教育，本研究探讨了其退化副作用。我们发现，随着 LLM 被训练得更准确地模仿学生误解，模型的事实真实性和推理能力会受到妥协。为了解决这些副作用，我们引入了一种 “幻觉标记” 技术，并发现在多个基准数据集上效果显著提升，但仍需要进一步研究保持 LLM 在个性化教育和事实准确性之间的平衡。
large language modelsregressive side effectsstudent misconceptionshallucination token techniquebalance between personalized education and factual accuracy
发现论文，激发创造
  • LLM 有针对性的低效率问题主要影响弱势用户

    通过对三种领先的大型语言模型 (LLM) 和两个不同的针对真实性和事实性的数据集进行深入实验，我们研究了 LLM 响应质量在信息准确性、真实性和拒绝方面如何随用户的英语水平、教育水平和国籍的不同而变化。我们的研究结果表明，领先的 LLM 模型在不可取的行为方面存在不均衡，对英语水平较低、教育水平较低和来自美国以外的用户具有更多的不可取行为，从而使这些模型对于最弱势的用户成为不可靠的信息来源。

    Jun, 2024

  • 分类和减轻 LLMs 的幻觉的洞察力

    本文阐述了人工智能幻觉的根本原因及其在人工智能中的重要意义，并就幻觉分类进行了研究，包括机器翻译、问答系统、对话系统、摘要系统、基于大语言模型的知识图谱以及视觉问答等多个任务。同时，本研究探讨了缓解幻觉的潜在策略，旨在提高大语言模型的整体可靠性。该研究属于 HeReFaNMi（Health-Related Fake News Mitigation）项目的一部分，该项目得到 NGI Search 的慷慨支持，旨在抑制互联网上健康相关虚假新闻的传播，致力于在不断演进的人工智能技术时代保护信息传播的完整性。

    Nov, 2023

  • 通过自我反思来缓解大型语言模型中的幻想

    通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

    Oct, 2023

  • 能否通过虚构模型减少人类的 “幻觉”？

    利用心理测量评估，本研究探讨了大型语言模型（LLMs）在检测常见逻辑陷阱方面与普通人的能力。通过对人类理性与 LLMs 的对比，提出了利用 LLMs 来对抗误解的方法，结合认知失调理论和详细性可能性理论等心理学模型。通过这一努力，凸显了 LLMs 作为个性化反驳错误信息代理的潜力。

    May, 2024

  • 大型语言模型（LLM）的利用中的挑战和影响因素

    当面临领域特定问题时，大语言模型（LLMs）可能会遇到问题，如知识遗忘、知识重复、知识幻觉以及知识毒性，这些问题突显了 LLMs 的训练数据和算法设计的困扰。为了解决这些问题，建议对训练数据进行多样化，微调模型，提高透明度和可解释性，并引入伦理和公平性培训。未来的技术趋势可能会倾向于迭代方法学、多模态学习、模型个性化定制以及实时学习和反馈机制。最重要的是，未来的 LLMs 应确保在为人类服务时优先考虑公平、透明和伦理，确保它们持有高的道义和道德标准。

    Oct, 2023

  • 消除 LLM 幻觉需要重新思考泛化

    通过广泛系统实验，我们展示了传统方法无法解释 LLMs 在实践中为什么会产生幻觉，并通过大量内存专家的混合来增强 LLMs，可以轻松地记忆大数据集，为去除幻觉设计了 Lamini-1 模型。

    Jun, 2024

  • 大型语言模型是怀疑论者：输入冲突妄想的假阴性问题

    为了解决语言模型生成与输入上下文不一致的响应的偏见问题，本文揭示了一类新的偏见，即输入 - 冲突幻觉。通过实验证明，语言模型在评估语句的正确性时，更偏向于返回虚假的负面判断，表现出更强的过度自信，并研究了上下文和查询重写对于解决偏见问题的有效性。

    Jun, 2024

  • 对防止生成有害信息而言，仅靠对齐是不够的：一个精神分析的视角

    我们的研究揭示了大型语言模型在面临对抗性攻击时的脆弱性的根源，质疑仅仅依赖复杂的对齐方法的有效性，并进一步主张将模态概念与传统的非模态概念相结合，为大型语言模型赋予对现实世界环境以及伦理考虑更细致的理解。

    Nov, 2023

  • 在 LLMs 中重新定义 “幻觉”：朝着心理学指导的框架缓解错误信息

    通过基于认知偏见和其他心理现象的心理分类学，我们质疑将 “幻觉” 一词应用于大型语言模型，并利用人类内部解决类似挑战的见解来开发缓解 LLMs 幻觉的策略，为提高 LLM 的可靠性提供细致精确的理解和可操作的途径。

    Feb, 2024

  • 大型语言模型中幻觉缓解技术的综合调查

    这篇论文综述了 32 种技术，旨在减轻大型语言模型中的幻觉问题，其中包括检索增强生成、知识检索、CoNLI 和 CoVe 等方法，并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法，以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外，还分析了这些技术中存在的挑战和局限性，为未来研究提供了坚实的基础。

    Jan, 2024