Jun, 2024

关于仓库级代码编辑中推理的重要性

PDF
TL;DR这项研究探讨了使用代码流畅的大型语言模型（LLMs）进行存储库级代码编辑的最新进展，着重解耦上下文检索的任务以评估其组件的优劣，并指出推理在上下文获取中提高准确性的作用，但仍无法确定其充分性及专用工具在该过程中的最终角色。
code-fluent large language modelsrepository-level code editingcontext retrievalreasoningspecialized tools
发现论文，激发创造
  • 检索与推理相遇：长文本理解的动态上下文编辑

    通过动态上下文编辑的方式，我们引入了一种新的方法，将信息检索重新设想，使长文本上下文成为可塑的外部知识，并通过与最新的知识编辑技术相结合，与有关信息进行交互式收集和整合，从而使大型语言模型能够进行复杂的推理步骤，有效增强了推理能力。

    Jun, 2024

  • 信息重组改善大型语言模型推理能力

    提出了一种信息重新组织（InfoRE）方法，通过在推理之前对上下文内容进行重新组织处理，从而增强了大型语言模型（LLMs）的推理能力。在各种上下文感知的多跳推理任务中，通过零射击设置，我们实验评估了该方法在 Llama2-70B、GPT-3.5 和 GPT-4 上的效果，平均改进了 3％，突显了它改善 LLMs 推理性能的潜力。

    Apr, 2024

  • Repoformer: 代码补全的存储库级选择性检索

    通过选择性检索和自我评估，本文提出了一种选择性检索和生成框架，以在大型代码库级别的代码自动补全中提高生成模型的准确性和效率。

    Mar, 2024

  • 检索重构：大规模语言模型推理

    本文提出了一种名为 'rethinking with retrieval' (RR) 的后置处理方法，借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识，从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。

    Dec, 2022

  • 召回、检索与推理：迈向更好的上下文关系抽取

    通过提出一种召回 - 检索 - 推理关系抽取框架，将大型语言模型与检索语料库相结合，从而使语言模型能够在上下文中进行可靠的推理，以提高关系抽取的性能。

    Apr, 2024

  • 大型语言模型是上下文语义推理者而非符号推理者

    本文研究了大型语言模型 LLMs 的推理能力，通过对语义从推理过程中的剥离进行实验，发现语义在 LLMs 的推理中起着至关重要的作用，但在符号逻辑和违反常识的推理任务中表现出困难。作者提出了这一发现的新视角，并呼吁深入研究 LLMs 的推理机制。

    May, 2023

  • 基于检索与元学习相结合的上下文相关语义解析

    本文提出一种方法，利用检索到的数据点作为上下文依赖的语义解析的支持证据，通过结合检索模型和元学习器实现。在 CONCODE 和 CSQA 数据集上的实验表明，这种方法在 JAVA 代码和对话历史上的环境下，都可以提高准确性，比检索和编辑的基线方法更有效。

    Jun, 2019

  • 增强集成上下文信息的代码生成库

    CatCoder 是一种新颖的代码生成框架，扩展了库级代码生成的能力，通过整合相关代码和类型上下文，利用静态分析器提取类型依赖并将其与检索到的代码合并，创建综合提示；实验证明 CatCoder 在各种 LLMs 中表现良好，提供了一致的性能改进。

    Jun, 2024

  • 解离逻辑：大型语言模型推理能力中的上下文作用

    通过调查来自一系列领域中的抽象和上下文逻辑问题的对比，本研究旨在系统地分离纯逻辑推理和文本理解。我们探讨当基础逻辑结构保持不变时，LLMs 在各个领域中是否展示出真正的推理能力。

    Jun, 2024

  • 长上下文语言模型是否能包含检索、RAG、SQL 等功能？

    基于长上下文语言模型（LCLMs）的 LOFT 基准评估了 LCLMs 在上下文检索和推理方面的性能，发现它们能与最先进的检索系统和 RAG 系统媲美，但在像 SQL 一样需要组合推理的领域仍存在挑战，提示着需要继续研究随着上下文长度增长时的提示策略的影响。LOFT 为 LCLMs 提供了严格的测试平台，展示了随着模型能力的扩展，它们取代现有范式并解决新任务的潜力。

    Jun, 2024