报告介绍了一种协议以收集跨语言韵律映射和其他改善语音翻译的方法,包括收集语言之间紧密匹配的话语对的、数据收集的描述,以及一些相关的观察和思考。此报告面向使用语料库,扩展语料库和设计类似的双语对话数据收集的人。
Nov, 2022
本文提出了一种用于评估对话相似性的编辑距离指标,该指标考虑到了对话的诸多方面,如话语语义,对话流程和参与者,并证明了其在捕捉对话流程和与人类对话相似性方面的优势。
Oct, 2021
通过评估 611 个预训练模型的性能,我们提出了一种基于语言的相似性逼近方法,该方法比经典方法更便宜,也比基于深度神经网络的方法性能更优。此外,我们还开发了一种新型自适应标签收集流程,并提供了一个简明指南和所有数据。
Jun, 2022
利用语言模型和在线招募,提出了一种基于文本描述的高效通用程序,以预测相似度判断,其数量只随刺激物数量线性增长,可极大减少数据需求,且在六个自然图像数据集上的结果优于基于视觉信息的先前方法。
Feb, 2022
本文通过在英语材料的专家评估集上进行零 - shot 提示,进行了人类和语言模型在七个语用现象上的精细比较,发现最大的模型可以实现高精度和匹配人类错误模式,同时发现证据表明模型和人类对相似的语言提示敏感,旨在探讨人类语用处理机制和语言模型之间的关系。
Dec, 2022
本文提出一种交互式的人工评估对话质量的方法,并介绍了一种基于自我对话的度量方式,该方式可以更好地捕捉对话模型的质量,同时使用了情感和语义连贯性等维度。通过对多个模型的实验比较,研究表明,这种度量方式优于目前已知的所有自动化方法,同时也优于静态会话的人工评估。最后,开放性地共享出研究基于交互式评估所构建的数据集和平台以供其它研究者使用。
Jun, 2019
本研究通过引入三种语言特征,即语言背景水平、比喻语言和情感概念的词汇化,捕捉语言语用学中的跨文化相似性并证实其在情感分析等实际任务中的有效性。
Jun, 2020
本研究旨在通过自动提取社交媒体对话中的论点,计算其之间的相似度以识别和归纳辩论方面,从而产生类似于辩论网站上的自动摘要。结果表明,在三个不同的辩题上,本研究的相关性平均值为 0.63,优于几个基准模型。
Sep, 2017
语音到语音翻译系统需要克服适用于对话用途时可能会丧失言者意图和立场微妙细节的问题,通过开发一个数据收集协议并研究跨语言韵律差异,我们提出了一种简单的韵律差异度量方法,并基于此对三个基本模型的实用性进行了评估,结果可指导未来跨语言韵律以及有效韵律传递的语音到语音翻译系统的设计。
Jul, 2023
本文提出新的统一框架,比较了常见的 IR 度量和神经模型在多个句子对分数任务和数据集上的性能,并尝试通过发布新的数据集来改进比较。我们提出了一种统一的开源软件框架,具有易于插拔的模型和任务,使我们能够尝试使用训练好的句子模型进行多任务复用并在 Ubuntu 对话数据集上提出了新的最优结果。
Mar, 2016