EMNLPOct, 2023

ASPIRO：一种适用于一切情境的结构化解析 - 误导引导生成一致数据到文本的方法

PDF
TL;DRASPIRO 是一种在零至少数次迭代条件下将结构化数据实现为短模板句子的方法，与现有方法不同，我们的方法直接让大型语言模型（LLMs）生成实体无关的模板，而不是依赖 LLMs 忠实地复制给定的实体，或手动验证 / 设计模板。我们结合 LLM 再提示，通过算法解析检查触发，并且采用 PARENT 度量诱导的一致性验证来实时识别和纠正模板生成问题。ASPIRO 相比直接 LLM 输出，在 DART 数据集上生成的 RDF 三元组的口头表达中平均减少了 66％的解析错误率。在 Rel2Text 数据集上，我们的最佳 5 次迭代的 text-davinci-003 设置具有 BLEU 50.62，METEOR 45.16，BLEURT 0.82，NUBIA 0.87 和 PARENT 0.8962 的评分，与最近的经过微调的预训练语言模型相当有效地竞争。
发现论文，激发创造
  • 用结构化提示问询和递归语义抽取（SPIRES）：一种使用零样本学习填充知识库的方法

    SPIRES 是一种基于大型语言模型的知识提取方法，使用零 - shot 学习和通用查询回答，以根据特定模式返回信息，支持知识管理和获取的手动曲调。

    Apr, 2023

  • Schema-aware Reference as Prompt Improves Data-Efficient Relational Triple and Event Extraction

    本文提出了一种基于预训练语言模型、schema-aware reference 和 few-shot learning 的信息抽取方法，可以克服语义差距和特征不足等诸多限制，并在四个关系三元组和事件抽取数据集上表现出更好的低资源学习性能。

    Oct, 2022

  • 基于 DPP 的对抗性提示搜索用于语言模型

    自动回归选择性替代提升（ASRA）是一种离散优化算法，基于优质性和决定性点过程（DPP）的相似性选择提示，以发现和修改预训练语言模型潜在的有害输出。实验结果表明，ASRA 在六种不同的预训练语言模型上有效地引发了有害内容，并显示出与目标输出的困惑程度之间的强相关性，而与模型参数数量的相关性有限。

    Mar, 2024

  • 虚拟助手的辨别式实体感知语言模型

    本文研究提出了一种基于知识图谱的语言建模方法，通过有效的格栅重排过程，达到了相对句子错误率的降低，为虚拟助手 ASR 的精度提高提供了强有力的支持。

    Jun, 2021

  • 具有可控风格的上下文感知语音识别的 PromptASR

    使用提示将上下文信息以控制风格的方式整合到端到端自动语音识别系统中，从而提高识别准确性和降低词错误率。

    Sep, 2023

  • 透明互动语义解析：逐步校正

    本研究研究了一种交互式语义解析框架，它可以通过自然语言一步一步地解释预测的逻辑形式，并允许用户通过自然语言反馈进行更正，主要关注问答和知识库的关系，构建了 INSPIRED 数据集，并进行了实验，有望大大提高总体解析精度。

    Oct, 2021

  • 利用大型语言模型进行零样本 ASR 领域自适应的语料合成

    提出了一种新的自适应 ASR 模型到新目标领域的策略，其中使用大型语言模型生成目标领域文本语料库，并使用最先进的可控语音合成模型生成相应的语音，通过在上下文中进行指令微调以提高大型语言模型生成新领域文本语料库的效果，实验证明该方法在未知目标领域上能达到平均相对词错误率提高 28%，且源领域性能无降低。

    Sep, 2023

  • InPars: 使用大型语言模型的信息检索数据增强

    利用大型预训练语言模型作为综合数据生成器，对于信息检索任务的未监督数据的微调，可以使检索器在零样本学习和有监督学习的任务中获得更好的表现

    Feb, 2022

  • UPRISE：用于改进零样本评估的通用提示检索

    UPRISE is a model that improves the generalization of large language models through a lightweight and versatile retriever that automatically retrieves prompts for zero-shot tasks, without the need for model-specific fine-tuning or task-specific prompt engineering, and mitigates the hallucination problem in chatbots.

    Mar, 2023

  • 大型语言模型的命名实体上下文偏置

    该研究探讨了大型语言模型（LLMs）中的上下文偏置，其中在二次通过重新评分期间，提供了额外的上下文信息以提升自动语音识别（ASR）性能。研究提议在重新评分期间利用提示方式对 LLM 进行偏置，其中包括偏置列表和少量示例，以作为计算假设得分时的额外信息。除了少量示例学习，该研究还提出了 LLM 的多任务训练，以预测实体类别和下一个标记。为了改进上下文偏置的效率并避免超过 LLM 的最大序列长度，该研究提出了动态提示，其中利用类别标签预测选择最可能的类别，并仅将该类别中的实体用作下一个标记预测的上下文。在内部通话、消息和听写数据集以及 SLUE-Voxpopuli 数据集上进行了字错误率（WER）评估。结果表明，偏置列表和少量示例相对于第一次通过 ASR 可以分别实现 17.8% 和 9.6% 的改善，而多任务训练和动态提示则可以分别实现 20.0% 和 11.3% 的相对 WER 改善。

    Sep, 2023