ACLSep, 2023

基于大型语言模型的自然语言生成从逻辑形式的重新排序研究

PDF
TL;DR通过提出一种新颖的生成和重新排序的方法，本研究强调大型语言模型在自然语言生成中的出色能力，并解决了从逻辑形式（LFs）生成自然语言时遇到的一些问题，该方法能够提高生成输出的语义一致性和流畅性，经过多项实验验证了其有效性。
发现论文，激发创造
  • 利用大型语言模型进行自然语言生成评估：综述

    自然语言生成（NLG）评估中引入大型语言模型（LLM）为评估生成内容质量提供了新的途径，本文提供了对利用 LLM 进行 NLG 评估的全面概述，包括组织现有基于 LLM 的评估指标的一致性分类法、批判性评估不同的 LLM 方法以及比较其在评估 NLG 输出中的优势和局限性，讨论未解决的挑战，并推动更公平、更先进的 NLG 评估技术。

    Jan, 2024

  • 基于大型语言模型的零样本列表式文档重排序

    在 TREC 网络搜索数据集和 MIRACL 跨语言数据集上，使用无需特定任务训练数据的 Listwise Reranker with a Large Language Model (LRL) 可以作为第一阶段和最终阶段的重新排序方法，在多层文本排序任务中取得了强大的效果。

    May, 2023

  • 从自然语言到代码：利用数据进行程序合成

    本文提出了一种利用输入数据对候选程序程序进行语义重新排序，并结合高低温度混合的技术，能够有效提升在数据操作领域中使用大型语言模型生成正确程序的准确性。

    May, 2023

  • 大型语言模型逻辑推理的教学学习

    通过对大型语言模型的研究，我们发现它们在逻辑推理方面存在缺陷，导致其在任务解决中产生反事实的答案。为了解决这个问题，我们提出了多种策略，赋予大型语言模型逻辑推理能力，从而使其能够在不同场景中生成更符合逻辑的答案。我们还通过构建一个综合数据集 (LMM-LR) 对该方法进行了评估和预训练。在不同任务上进行了广泛的定量和定性分析，验证了通过逻辑训练大型语言模型的有效性和必要性，并为将来的工作提供了启示。

    Oct, 2023

  • 大规模语言模型对于超领域逻辑推理任务的系统评估

    大型语言模型在逻辑推理任务中的泛化性和鲁棒性评估及改善的研究。

    Oct, 2023

  • LogicLLM: 探索基于自监督逻辑增强训练的大型语言模型

    本篇论文主要介绍了如何通过自监督后训练和上下文学习来增加逻辑知识，从而提高语言模型的逻辑推理能力，取得了比现有基线更好的效果。

    May, 2023

  • 优化大型语言模型的排序器

    这篇论文通过引入具有对齐的列表排名目标的语言模型框架（ALRO）来解决基于 LLMs 的推荐系统中排名任务的问题，并使用适应语言生成任务的 soft lambda loss 和解决位置偏差的置换敏感学习机制，实验证明 ALRO 优于现有的基于嵌入的推荐方法和基于 LLMs 的推荐基准。

    Mar, 2024

  • 利用大型语言模型重新排序以增强推荐的多样性

    用大型语言模型进行多样性重新排序是一个有前途的方法，它能为推荐系统带来多样性而不需要特殊的知识工程。

    Jan, 2024

  • 加强对话式搜索：大型语言模型辅助的信息性查询改写

    通过利用大型语言模型作为查询重写器，并结合精心设计的指令，我们定义了四个重写的关键属性，提出了基于大型语言模型的查询重写方法。我们还介绍了 LLMs 的重写能力的提炼，并采用 “先重写后编辑” 的方法来处理初始查询重写。实验结果在 QReCC 数据集上表明，信息丰富的查询重写可以显著提高检索性能，特别是在检索器稀疏的情况下。

    Oct, 2023

  • LogicRank: 逻辑诱导的生成式文本到图像系统重排序

    本研究介绍了当前文本生成图像模型的问题并提出了使用神经符号推理框架 LogicRank，以更精确的方式对当前存在的一些问题进行重新排序以便在理性化情境中的使用。

    Aug, 2022