TurnGPT:基于 Transformer 的口语对话转换预测语言模型
本文提出一种模型,该模型将对话历史和下一个讲话者想要说的内容作为条件来预测对话的结束,比基线模型在各种指标上的表现更好。该模型可作为一个增量响应排名器,在各种场景中得到应用。
May, 2023
TransGPT 是一个多模态的大型语言模型,基于不同领域的交通数据,通过提供交通分析、模拟交通现象、回答交通问题、提供交通建议和生成交通报告等功能,推动了交通学领域中自然语言处理技术的发展,为智能交通系统的研究人员和实践者提供了有用工具。
Feb, 2024
本研究对 GPT 模型在机器翻译方面的表现进行了全面评估,涵盖了许多方面,如与最新研究和商业系统的不同 GPT 模型的质量比较,提示策略的效果,域转换和文档级翻译的鲁棒性。实验覆盖了 18 个不同的翻译方向,包括高资源和低资源语言以及非以英语为中心的翻译,评估了三个 GPT 模型:ChatGPT,GPT3.5 (text-davinci-003) 和 text-davinci-002。实验结果表明,对于高资源语言,GPT 模型达到了极具竞争力的翻译质量,而对于低资源语言的能力却有限,同时也证明了混合方法(将 GPT 模型与其他翻译系统相结合)可以进一步提高翻译质量。我们进行了全面的分析和人工评估,以进一步了解 GPT 翻译的特点。我们希望我们的论文为研究人员和实践者提供有价值的见解,并有助于更好地理解 GPT 模型在翻译方面的潜力和局限性。
Feb, 2023
使用基于 Transformer 的新型多模态架构来预测具有多视角的、同步的交互数据中的轮替情况,在已引入的 EgoCom 数据集上进行实验,与现有的基线和替代基于 Transformer 的方法相比,平均性能显著提升了最高达 14.01%。
Oct, 2023
本研究采集了一组大规模的多模式对话语料库,并设计了一种新的门控多模式融合机制来利用各种信息进行转换预测。为了解决数据不平衡问题,我们设计了一种简单且有效的数据增强方法,通过对比学习得到更好的特征表示。实验证明,我们的模型在多个方面表现优异,比几种最先进的基准方法更为竞争力。
Apr, 2022
BatGPT 是由武汉大学和上海交通大学联合设计和训练的大型语言模型,具有双向自回归架构和参数扩展方法,可以生成高度自然流畅的文本和用于各种自然语言处理任务。
Jul, 2023
本文介绍基于 transformer 模型的 DLGNet,用于多轮对话生成,实验结果显示 DLGNet 显著优于现有模型且在评估指标方面表现最佳,主要因为长程 transformer 模型的结构和注入随机信息填充的组合。
Jul, 2019
GPT (Generative Pre-trained Transformer) 是一种人工智能和自然语言处理技术,能够自动生成文本。本文主要研究了将 GPT 语言模型应用于大学教学的各个方面,包括学生和教师活动的创新、内容理解与生成、问题解决、个性化和试卷批改等。同时,作者还在软件工程等领域进行了详细实验,评估了 ChatGPT 作为助理工具在理论活动、习题和实验实践中的潜在应用价值。
Mar, 2024
本文介绍了 DialoGPT,一种大型的、可调整的神经对话响应生成模型,它在 Reddit 上 2005 年至 2017 年的时间跨度内提取的 1.47 亿条对话样本上进行训练。在单轮对话设置中,DialoGPT 能够达到接近人类的性能水平,能够生成比强基线系统更相关、更富有内涵和更具上下文一致性的响应。该预训练模型和训练流程已公开发布,以促进神经响应生成研究和更智能的开放域对话系统的开发。
Nov, 2019
本文提出了 LauraGPT,一个统一的 GPT 模型,用于音频识别、理解和生成,实现了在多个音频处理基准测试上与现有 SOTA 模型相媲美或卓越的性能。
Oct, 2023