本文提出了“Hierarchy Accumulation”的方法，将分析树结构编码为自注意力，以常数时间复杂度实现了序列模型，相较于SOTA方法，在四个IWSLT翻译任务和WMT'14英德翻译任务上表现更好，并在三项文本分类任务上胜过Transformer和Tree-LSTM，同时表明使用分层先验可以补偿数据短缺，该模型更倾向于使用短语级别的自注意力。

Feb, 2020

本文介绍了两种新颖的方法：Tree-Search和Self-contextualizing QA，旨在提高大型语言模型在问答任务中的性能。通过使用Tree-Search采样技术和自我上下文化QA方法，可使模型根据提示创建其自己的上下文并生成高质量、一致性强、信息量大、连贯度强的答案，优点是具有更高的鲁棒性，同时可以扩展到多种任务和应用。

May, 2023

借鉴AlphaZero的树搜索框架，通过学习价值函数来引导大型语言模型（LLMs）的解码能力，并在推理和训练中进行译码指导，有效地提升推理能力、规划和强化学习任务的对齐。

Sep, 2023

通过对注意力头的运行进行详细分析，我们发现特定的注意力头在上下文学习的能力中具有重要的语义联系，从而推进了我们对transformers中注意力头运行的复杂操作和大语言模型上下文学习的新洞察。

Feb, 2024

我们的论文引入了结构引导提示，这是一个创新的三阶段任务无关提示框架，旨在提高大型语言模型在零样本环境下的多步推理能力。通过将非结构化文本转换为图形，指导模型在图形中导航，并使用任务特定的策略来制定响应，我们的实验表明这一框架显著增强了大型语言模型的推理能力，使其在更广泛的自然语言场景中表现出色。

Feb, 2024

通过优化注意力机制来增强大型语言模型的推理能力，特别是对非科学、技术、工程和数学（STEM）问题的推理能力，通过重新平衡注意力分布来提高模型的抽象能力并探索注意力模式在推理中的作用，为更强大和多功能的语言模型铺平道路。

Mar, 2024

通过细致研究和可视化大型语言模型（LLMs）中的注意力分布，本研究发现注意力汇的存在可以通过在提取信息时实时优化的了解，从而提高LLMs的准确性并避免权重调整。

Jun, 2024

本研究针对大型语言模型（LLMs）作为黑箱系统的现状，探讨它们内部机制中的注意头，通过四阶段框架分析人类思维过程，旨在揭示推理瓶颈的本质。结果表明，特定的注意头在推理过程中扮演了关键角色，为LMMs的进一步优化提供了新思路。

Sep, 2024

本研究针对大型语言模型（LLMs）作为黑箱系统所导致的推理瓶颈，着重分析注意力头的内部机制。通过将人类思维过程提炼为四个阶段的框架，系统性地回顾现有研究，识别和分类特定注意力头的功能，从而为理解LLMs的推理过程提供新的视角与方法。

Sep, 2024

本研究针对大语言模型（LLMs）在长文本生成能力方面的不足，提出了层次化长文本生成基准（HelloBench），用于综合评估LLMs在多个任务上的表现。研究发现，当前大多数LLMs生成的文本长度受限，并存在严重的重复和质量下降问题，同时提出的HelloEval评估方法提供了更高效且与人工评估高度相关的评估方式。

Sep, 2024