多重评论融合上下文
本文提出将句子联合生成任务作为一种有效的明确定义的测试基准,以评估文本合并能力,消除了主观内容选择的影响。针对该任务,我们提出了一套细化的注释方法和众包工具,创建了迄今最大的联合数据集,并提供了多种合并方面的丰富分析。最后,我们对最先进的语言模型进行了基线评估,并对它们解决多文本合并挑战的能力及其局限性进行了详细分析。
May, 2023
提出了一种利用事实一致性模型进行弱监督微调的方法,通过在生成的文本中添加引用并使用经过过滤的引文数据进行监督微调,以提高生成的内容的可验证性,并在 ALCE few-shot 引文基准上展示了超过上下文学习、纯监督微调和最先进方法的平均提高,同时在领域转移设置中表明所得到的引文生成能力在未见过的数据集上具有稳健性,并且在基线对比中具有最低的事实错误率。
Jun, 2024
本文研究以背景学习为基础的评估器,在自然语言生成(NLG)的各个方面进行多维度评估,实验证明:相比于基于训练集的评估器,以背景学习为基础的评估器在文本摘要等维度上具备同等的效力和竞争力;研究表明,在确定和数量选择上下文示例因素的影响下,以背景学习为基础的评估器在评估作为大型语言模型(如 GPT-3)的零样本总结时也具有很强的效力。
Jun, 2023
该研究研究了面向知识密集型任务的检索增强式生成模型的多任务训练。通过利用知识密集型生成的独特属性:查询 - 答案对与知识库中项目的联系,我们提出了一种清理训练集的方法。使用关联性标签的置信度阈值过滤训练样本,以确定是否可以通过知识库回答一对查询 - 答案。我们在 KILT 基准测试的七个组合任务上对单个 FiD 生成器进行训练。实验结果表明,我们简单而有效的方法大大改进了两个强烈不平衡的任务上的竞争基线,并在其余任务上显示出较小的改进或无显着退步。此外,我们表明,与增加的模型容量一样,我们的关联标签采样的多任务训练能够良好地缩放,并在 KILT 任务的五项中取得了最佳结果。
Jul, 2022
通过将抽取和生成的方法相结合,利用生成模型提高了抽取式摘要的简洁性和可读性。本研究提出了上下文感知的重写方法,通过 group-tag alignments 将传统的抽取方式转化为生成方式,取得了显著的 ROUGE 分数提升。
Jul, 2022
本研究提出了两种自适应融合网络(Auto-Fusion、GAN-Fusion),通过对不同模态的特征进行有效的上下文建模,在多模态机器翻译和情感识别等任务中取得了比现有方法更好的效果。
Nov, 2019
开发了一种基于抽象的总结框架,适用于多个异构文档,该框架独立于标记数据。 与现有的多文件总结方法不同,我们的框架处理讲述不同故事的文档,而不是同一主题的文档。 最后,我们基于 CNN / Daily Mail 和 NewsRoom 数据集构建了总共十二个数据集变体,其中每个文档组都包含大量且多样化的文档,以评估我们的模型与其他基线系统的性能。 我们的实验表明,我们的框架在这种更通用的情况下胜过了现有的最先进方法。
May, 2022
利用高级语义,通过视觉 - 语言模型建立文本与图像信号之间的粗粒度关联机制,并在变换器网络中嵌入仿射融合单元以在特征级别上融合文本和图像模态,提出了一种以文本为导向的融合方法,并释放了一个文本注释的图像融合数据集 IVT 来促进其实施和在研究社区的采用。大量实验证明我们的方法(TextFusion)在传统的基于外观的融合方法上始终表现优异。
Dec, 2023
本论文提出了一种灵活的神经网络框架,利用上下文信息从多个渠道进行整合来提高多轮对话响应排序的性能。在 MSDialog 数据集上的实验结果表明,我们的框架显著优于先前的最先进模型,提高 Recall@1 7%和 MAP 4%。
Mar, 2023