Jun, 2024

LLaMIPa: 增量对话解析器

PDF
TL;DR该研究提出了首个使用在 SDRT 风格标注的语料库上进行微调的大型语言模型（LLM）进行话语解析实验。结果是一个名为 LLaMIPa（LLaMA 增量解析器）的话语解析器，能够更充分地利用话语背景，相较于只使用编码器模型提供局部、上下文敏感的话语单元表示的方法，取得了显著的性能提升。此外，它能够逐步处理话语数据，这对于将来在下游任务中使用话语信息是必不可少的。
discourse parsinglanguage modelsdrtllamipaincremental processing
发现论文，激发创造
  • DAMP: 面向任务型对话的双重对齐多语言解析器

    使用两个阶段的多语言语义解析的多语言代码切换语义解析系统，通过对比预训练改进英语性能和转移效率，并引入有限调整优化方法来提高零 - shot 性能，将 mBERT 的转移性能大大提高，同时使用 3.2 倍少的参数优于 XLM-R 和 mT5-Large。

    Dec, 2022

  • 通过使用大型语言模型，在 RST 篇章分析中能否取得显著成功？

    本文研究了具有数十亿参数的解码器预训练大型语言模型（LLMs）对修辞结构理论（RST）的语篇分析的影响，并且在基于自上而下和自下而上策略的语篇解析过程中，将此解析过程转化为 LLMs 可以处理的提示，并通过 Llama 2 进行了微调。实验结果表明，具有 700 亿参数的 Llama 2 在自下而上策略上获得了领先的成绩，相较于现有的 RST-DT 训练的解析器具有显著的差异。此外，在 RST-DT 上评估时，我们的解析器表现出了一定的泛化能力，尽管是使用 GUM 语料库进行训练，但获得了与使用 RST-DT 训练的现有解析器类似的性能。

    Mar, 2024

  • PMC-LLaMA：在医学论文中进一步微调 LLaMA

    介绍了 PMC-LLaMA, 一种在 4.8 百万篇生物医学论文上 fine-tuning 得到的语言模型，用于注入医学知识，提高在医学领域的性能，经过初步试验后在生物医学数据集上表现出更好的理解生物医学特定概念，在 QA 基准上表现出高性能。

    Apr, 2023

  • 基于 LLMs 的短语结构解析

    运用大型语言模型探索生成线性化树解决成分句法分析任务，并通过实验证明模型的性能、泛化能力和挑战。

    Oct, 2023

  • 小语言模型的多模态助手全面重构

    在本文中，我们研究了 Multimodal Small Language Models（MSLMs）的设计方面，并提出了一种高效的多模态助手 Mipha，旨在在视觉表示、语言模型和优化策略等各个方面产生协同效应。我们展示了在不增加训练数据量的情况下，我们的 Mipha-3B 在多个基准测试中表现优于最先进的大型 MLLMs，尤其是 LLaVA-1.5-13B。通过详细讨论，我们提供了开发强大的 MSLMs 以与 MLLMs 能力匹敌的见解和指南。

    Mar, 2024

  • 通过领域整合来提高多方对话语篇分析

    本文介绍了一种 Transformer 模型，可以应用于多方对话语篇分析，并结合三种方法，实现跨领域数据泛化，以提高神经网络解析器在跨域对话样本中的表现。

    Oct, 2021

  • 发掘神经言语解析器的能力 —— 使用大规模预训练的上下文和结构感知方法

    这篇论文提出了一个简单但高精度的 RST 语篇分析器，采用最近的上下文语言模型，表现出两个重要数据集，RST-DT 和 Instr-DT 的最新技术性能。研究人员还表明，在最近可用的大规模 “银标准” 话语树库 MEGA-DT 上预训练我们的分析器可以提供更大的性能改进，这为话语分析领域提供了一种新的有前途的研究方向。

    Nov, 2020

  • 关于完全增量神经依存句法分析的挑战

    该研究论文探讨了基于现代架构的全面增量依存解析是否能够具备竞争力，并建立了将严格的从左到右神经编码器与全面增量序列标注和基于转换的解码器相结合的解析器。结果表明，基于现代架构的全面增量解析远远落后于双向解析，并注意到语言学上合理解析的挑战。

    Sep, 2023

  • 基于序列标注的自顶向下篇章分析

    本研究介绍了一种自上而下的话语分析方法，该方法的目标是将文档迭代地分段成个体话语单元，这种方法不仅消除了解码器，而且减少了划分点的搜索空间，同时使用了 LSTM 模型，在全指标下达到了最新的 RST 分析结果。

    Feb, 2021

  • 对话系统中面向领域通用口语断续检测的多任务学习

    本文提出一种多任务基于 LSTM 的模型，用于增量检测口吃结构，可以连接到任何组件以进行增量解释，或者在产生当前话语时用于 “清理” 当前话语。我们在 Switchboard 对话行为语料库上训练了该系统，并展示了其在该数据集上的准确性。我们的模型在 SWDA 上比以前的神经网络基于增量的方法表现优异，同时采用较简单的架构。为了测试模型的泛化潜力，我们在没有任何附加训练的情况下，在 bAbI + 数据集上评估了相同的模型。这表明我们的方法具有很好的泛化潜力，并更加详细地阐明了哪些类型的口吃可能适合于领域通用处理。

    Oct, 2018