本文介绍了一种使用结构化元学习方法,提高对不常见句子功能的对话生成的表现, 结果显示,使用 SML 可以提高生成的回复的信息量和相关性,并且可以生成符合目标句子功能的回复。
Oct, 2020
本研究介绍了一种新的文本生成评估指标 SMART,其以句子为匹配的基本单位,通过句子匹配功能软匹配候选句子和参考句子,并与源文档中的句子进行比较以进行评估。实验结果表明,SMART 指标在评估长文本时优于其他评估指标,在无神经网络时再现了基于模型的指标,同时对于长摘要的评估效果良好,且不偏向特定模型。
Aug, 2022
利用规范指令和测试套件,本文分析了功能学习的无微调方法,小模型很难遵循规范指令,但大模型(> 3B params.)能够从规范中受益并在不同功能上广义理想行为。
Nov, 2023
本文提出了一种自适应增强注意力框架(FAEA)用于少样本逆关系分类,其中设计了一种混合注意模型来关注基于元学习的类别相关功能词,并引入自适应消息传递机制来捕获和转移类间差异,实验证明 FAEA 优于现有模型,特别是在 FewRel1.0 的 1-shot 配置下,逆关系准确率提高了 14.33%。
Apr, 2022
本文研究了使用卷积神经网络的文本分类的新基准模型,在这些模型中,将文档作为三维张量表示进行输入,从而实现了句子级分析,经实验证明该模型在长文档特别表现良好。
Jan, 2023
该研究通过使用循环卷积神经网络与韵律、词性等特征及单词嵌入,提出了一种自动句子分割方法,用于帮助机器自动识别语言障碍性痴呆疾病患者的语言,获得了比条件随机场模型更好的结果,为自动话语分析工具的发展提供了一定的参考。
Oct, 2016
本文通过构造一组挑战任务,测试了句子编码器中对功能词语的理解能力,结果显示,在句子编码器的预训练中,语言建模性能表现最佳,支持其广泛用于现有的 NLP 模型预训练,而 CCG 超标记和自然语言推理的预训练表现相当。
Apr, 2019
本文提出新的统一框架,比较了常见的 IR 度量和神经模型在多个句子对分数任务和数据集上的性能,并尝试通过发布新的数据集来改进比较。我们提出了一种统一的开源软件框架,具有易于插拔的模型和任务,使我们能够尝试使用训练好的句子模型进行多任务复用并在 Ubuntu 对话数据集上提出了新的最优结果。
Mar, 2016
FCTalker 是一种基于 fine and coarse-grained encoder 的语音合成模型,使用了基于 BERT 的对话编码器来建立话语历史与语音合成之间的单词级别依赖关系,以提高合成语音的表现力和适应性。
Oct, 2022
本文研究了句子脱离语境的问题及其在自然语言处理模型中的重要性,并通过 Wikipedia 语料库训练了自动化解决方案。研究表明句子脱离语境对用户工作任务和文档理解预处理都具有重要价值。
Feb, 2021