Jun, 2023

大型语言模型用于代码生成时模型的注意力是否与人类注意力一致？—— 一个实证研究

PDF
TL;DR研究发现在 LLMs 生成代码时，它们所关注的自然语言描述与人类程序员的关注点不一致，而一个基于扰动的计算方法的注意力最大程度地与人类注意力一致，说明我们需要更符合人类关注点的 LLMs 以提高代码生成的可解释性和程序员的信任度。
large language modelsllmscode generationattention computation methodsprogrammer trust
发现论文，激发创造
  • 提升代码大型语言模型的自然语言能力

    提出了一个新的框架，通过集成传统自然语言处理工具，从自然语言需求文本中提取关键词短语，并生成目标代码以解决需求，从而有效提高代码大型语言模型的性能。通过创建一个新的多自然语言代码生成基准测试集，实验证明了该框架的有效性。

    Jan, 2024

  • 人类驱动大型语言模型的对齐研究

    综述了大型语言模型对齐技术的全面概述，包括数据收集、训练方法和模型评估，并提供了未来研究方向的启示，是了解和推进适应人类任务和期望的 LLM 对齐的宝贵资源。

    Jul, 2023

  • 人类对话是否特殊？基于大型语言模型的观点

    本研究通过分析大型语言模型（LLMs）在理解人际对话时的注意机制变化，对与网络内容、代码和数学文本的三种使用情况进行了分析。研究表明，对话数据具有长期上下文关系的细致处理和通过注意力模式的高复杂性等独特挑战。我们的研究结果显示，虽然语言模型表现出领域特定的注意行为，但在专攻人类对话方面仍存在显著差距。通过详细的注意熵分析和 t-SNE 可视化，我们展示了训练于多样且高质量对话数据的模型，以提升对人类对话的理解和生成。这项研究强调了语言模型领域专长的重要性，并提出了未来建模人类对话细微差别的途径。

    Mar, 2024

  • 从人类行为角度探索语言模型

    基于人类行为学视角，我们探究了大型语言模型（LLMs）的预测过程和内部机制，通过将 LLMs 的值与眼动测量结果相关联，发现 LLMs 表现出与基于 RNN 的语言模型不同的预测模式。此外，随着前馈网络（FFN layers）的升级，记忆和语言知识编码的能力也逐渐提升直至达到巅峰，并转向注重理解能力。自注意力机制的功能分布在多个头部。最后，我们审查了门控机制，发现它们控制信息的流动，有些门控机制促进信息的传递，而其他门控机制则消除信息。

    Oct, 2023

  • 基于浅层未训练多头注意力网络的类脑语言处理

    通过研究大型语言模型，该论文揭示了语言模型与人类大脑的相似性，重点分析了架构组件中的分词策略和多头注意力以及需求确定性的关键因素，最终提出了一种高度与人类大脑和行为对齐的模型。

    Jun, 2024

  • 机器和人类是否关注相似代码？在代码概括中探索大型语言模型的可解释性

    对于语言模型在代码摘要中的可解释性的调查结果表明，语言模型的关注点与人类程序员的注意力没有显著关联，且没有发现人类注意力与语言模型生成摘要的质量之间的影响。这一结果呼吁进一步研究可解释性的语言模型和软件工程任务中的训练机制以及其他模型关注度的适用性。

    Feb, 2024

  • 大型语言模型对齐：一项调查

    大型语言模型（LLMs）的对齐方法研究，包括外部和内部对齐方法，探讨了其可解释性和对抗攻击的潜在漏洞以及评估方法，并展望了未来的研究方向。

    Sep, 2023

  • 关注驱动推理：释放大型语言模型的潜力

    通过优化注意力机制来增强大型语言模型的推理能力，特别是对非科学、技术、工程和数学（STEM）问题的推理能力，通过重新平衡注意力分布来提高模型的抽象能力并探索注意力模式在推理中的作用，为更强大和多功能的语言模型铺平道路。

    Mar, 2024

  • 代码 - LLMs（不）学习的重要研究

    研究发现，大型语言模型（code-LLMs）只能编码特定子集的输入令牌之间的关系，并且无法编码语法令牌与标识符之间的关系。此外，与预训练模型相比，微调模型对这些关系的编码较差，并且拥有数十亿参数的更大模型对于代码信息的编码显著较少。

    Jun, 2024

  • 语言感知中的缩放和指示调整角色：模型与人类注意力之比较

    比较了几种不同尺寸的大型语言模型在自我注意力和眼球扫视等方面的表现，发现扩大规模可以提高模型的人类相似度和注意力有效性，而指令调整则可以增强模型对指令的敏感性，但所有模型在注意力方面都比母语讲者更接近非母语讲者，显示出亚优化的语言感知能力。

    Oct, 2023