对话中的建构重复降低信息传输速率
调研表明,语言模型在对话生成中重复具有关键作用,并且关联着词汇重用的处理机制,加强这方面的研究有助于开发认知启发式的对话生成系统。
Nov, 2023
本工作探索了重复生成,并提出了一种加权标签平滑方法和一种重复评分方法来输出更合适的重复,并在 T5 语言模型上进行了评估,实验结果表明我们的方法在自动和人工评估中均优于基线。
Jul, 2022
使用自然語言處理的方式分析了在重複參照遊戲中,設定共同基礎並理解彼此喜好的過程。發現不同的語言配對會發現各種特殊而有效的合作方式,而這些合作方式受到溝通環境的影響。此外還發現人們說話越來越有效率,最終成為包含開放類詞語的簡短標籤。
Dec, 2019
本研究提出了一种基于视觉和对话环境的生成模型来产生有效指代话语,并实现了一个参照解析系统进行评估。实验结果表明,相比其它非对话背景下的模型,该模型能够产生更加有效的指代话语,而且在生成具有人类语言模式的后续指代方面表现出良好的效果。
Nov, 2020
本研究介绍了一种自动检测共享词形构造的方法,并将其应用于参与者旨在识别没有既定标签的新颖对象的指代交流语料库,分析揭示了共享构造的使用模式与参与者在社交互动后展示的对象标记一致性程度相关的特征,从而表明自动检测的共享构造为研究对话中的参考协商动态提供了有用的分析层面。
May, 2024
对神经文摘的自我重复进行定量和定性分析。分析了三种神经网络结构(BART,T5 和 Pegasus),发现 BART 特别容易出现自我重复,并且 fine-tuning 在更具抽象性的数据和在特定领域的数据上都会导致更高的自我重复率。
Oct, 2022
使用大型语言模型研究英语对话的大规模数据集,提供了关于非结构化对话信息密度的新估计,以及涉及检索和呈现信息的认知负荷的显著效应,同时揭示了后导评价词在调节新颖性产生中的作用。我们的研究结果为我们如何应对认知资源波动的长期理论和与他人合作应对这些需求的方式提供了新的见解。
Mar, 2024
理想的摘要模型应该能推广到新的值得摘要的内容,而不需要死记参考训练摘要,我们提出了一种细粒度的评估协议,通过基于参考测试摘要与训练摘要之间的词汇相似性将测试集划分,限制训练摘要中的词汇重复能够防止死记硬背,并提高摘要模型的泛化性。
Nov, 2023
本文通过引入强化学习(RL)进行用户交互训练,实现了一个更加人性化的劝说对话系统,并成功在捐赠劝说任务中取得了优于先前最先进的对话模型的表现。
Dec, 2020