教学文本修订中的模糊性的计算分析
介绍了 Instruction Document Visual Question Answering(iDocVQA)数据集和 Large Language Document(LLaDoc)模型,用于训练文档分析的语言 - 视觉(LV)模型和文档图像上的预测。
Feb, 2024
我们提出了一种混合方法来自动测量文本中的模糊性和主观性,首先介绍了专家系统 VAGO,然后在小型事实与意见语句基准上加以说明,并在更大的法国新闻语料库 FreSaDa 上进行测试以确认讽刺性与常规文本中主观标记的更高普遍性。然后我们基于类似 BERT 的架构构建了 VAGO 的神经克隆,以 FreSaDa 上获得的符号 VAGO 分数进行训练。使用解释性工具(LIME),我们展示了这个神经版本对符号版本的词典丰富和其他语言版本的生成的兴趣。
Sep, 2023
在 SemEval-2022 任务 7 中,我们描述了一项共享任务,即对说明性文本中澄清信息的合理性进行评级。该任务的数据集包括手动澄清的操作指南,我们生成了替代的澄清信息,并收集了人类的合理性判断。参与系统的任务是自动确定相应背景下澄清信息的合理性。总共有 21 个参与者参加了该任务,最好的系统的准确率达到了 68.9%。本报告总结了来自 8 个团队的结果和发现以及他们的系统描述。最后,我们进行了额外的评估,结果显示顶级参与团队的预测可以以 75.2% 的准确率确定具有多个合理澄清信息的背景。
Sep, 2023
本文提出了一种使用变分推理来学习连续向量表示的新方法,以捕捉有关文档编辑过程的潜在语义信息,同时还介绍了一套下游任务,PEER,旨在衡量自然语言处理环境下编辑表示质量。
Apr, 2020
本论文研究了通过自然语言指令进行受控文本编辑的问题,并建立了高质量的 WikiIns 数据集以解决现有数据集的信息不足的问题。通过预处理维基百科编辑历史数据库,并进行众包验证和测试,以及小规模训练集的构建,还提出自动生成大规模 “银” 训练集的自动方法。通过对 WikiIns 数据集的分析和实验结果,可以促进文本编辑领域的研究。
Oct, 2023
大规模语言模型的知识编辑可以提供一种有效的解决方案,以改变模型的行为而不会对整体性能产生负面影响。为了解决当前方法在任务上的有限泛化能力的问题,我们采取了第一步来分析知识编辑中的多任务泛化问题。具体而言,我们开发了一种基于指令的编辑技术,称为 InstructEdit,它通过简单的指令同时促进编辑器对不同任务性能的适应。通过仅使用一个统一的编辑器为每个大规模语言模型,我们经验证明 InstructEdit 可以提高编辑器的控制能力,在多任务编辑设置中可平均提高 14.86%的可靠性。此外,涉及未见任务的实验表明 InstructEdit 始终优于先前的强基准。为了进一步研究基于指令的知识编辑的基本机制,我们分析了编辑梯度方向的主要成分,发现指令可以帮助控制具有更强的无法覆盖的泛化能力的优化方向。代码和数据集将在此 https URL 中提供。
Feb, 2024
通过理解人类可读的指令来学习新任务的挑战一直是人工智能领域的难题,本文基于自然指令数据集通过使用生成式预训练语言模型对任务特定指令进行编码和输出生成,研究横向任务泛化并发现模型在使用指令时对于未见过的任务泛化更好,但与认为上限还存在显著改进空间。
Apr, 2021
我们研究通过人工编写的指令,在真实世界的文档上完成各种视觉文档理解(VDU)任务,例如问答和信息提取。为此,我们提出了 InstructDoc,这是第一个包含 30 个公开可用的 VDU 数据集的大规模集合,每个数据集都有统一格式的多样指令,涵盖了 12 项不同任务并包括多种文档类型 / 格式。此外,为了提高 VDU 任务的泛化性能,我们设计了一种新的基于指令的文档阅读和理解模型 InstructDr,通过可训练的桥接模块连接了文档图像,图像编码器和大型语言模型(LLMs)。实验证明,通过给定的指令,InstructDr 能够有效适应新的 VDU 数据集、任务和领域,且胜过现有的多模态 LLMs 和 ChatGPT 无需特定训练。
Jan, 2024
研究了 wikiHow 平台上针对特定受众的指导书如何在实践中有所不同,结果显示指导书存在细微的偏见,旨在引起对这些不平等现象的关注,并为未来工作解决问题迈出第一步。
Sep, 2023
本文介绍了一个学生立论式作文之间的修改版本语料库,并对每个修订版本进行了评注,以评估其是否改善了论文质量,并开发了一个基于机器学习的模型来预测修订版本的改进情况,同时也展示了利用专家和非专家修订数据可提高模型性能的结果。
Sep, 2019