Jul, 2023

ChatHome：家居装修领域特定语言模型的开发与评估

PDF
TL;DR本文介绍了 ChatHome，一种专门设计用于家庭装修领域的领域特定语言模型（DSLM）的开发和评估。通过对广泛的数据集进行域自适应预训练和指令调整的方法，ChatHome 能够生成与家庭装修相关的高保真度、精确的输出，既增强了领域特定功能，又保持了其通用性。
chathomedomain-specific language modelhome renovationdslmfidelity outputs
发现论文，激发创造
  • ChatGPT 是否是金融专家？对语言模型在金融自然语言处理的评估

    使用 FinLMEval 框架评估了大型语言模型在金融领域中的能力，并发现虽然一些只有解码器的 LLM 在大多数金融任务中表现出色，尤其是通过零 - shot 提示，但它们在处理专有数据集时通常落后于经过精调的专家模型。该研究为在金融领域构建更高级别的 LLMs 提供了基础评估。

    Oct, 2023

  • 使用大型语言模型评估聊天的三种方法

    本文通过三种不同的方法，基于大型语言模型（LLMs）对于 ChatGPT 响应的逐轮质量进行预测，并使用动态少量样本来改善基准，并分析了其他两种方法的性能并提出未来研究的改进。研究表明，Llama 2 模型正在缩小 ChatGPT 和开源 LLMs 之间的性能差距，但发现 Llama 2 模型不能像 ChatGPT 那样从少量样本中受益。

    Aug, 2023

  • 关于开放领域对话评估的 LLMs 基准测试

    大型语言模型已在自然语言处理各个任务中显示出卓越的能力。然而，在自动开放领域对话评估方面，现有的评估基准往往依赖于过时的数据集，评估流畅度和相关性等方面，无法充分捕捉现代聊天机器人模型的能力和限制。本论文对当前的评估基准进行了批判性研究，强调使用旧的响应生成器和质量方面未能准确反映现代聊天机器人的能力。对近期 LLM 生成的数据集 (SODA) 进行的小型注释实验揭示了 GPT-4 等 LLM 评估者在检测当前 LLM 聊天机器人生成的对话中的实际问题方面存在困难。

    Jul, 2024

  • ChatLLM 网络：更多的智能，更多的大脑

    本文提出 ChatLLM 网络，利用多个基于 ChatGPT 的对话语言模型协同解决问题的能力，加入了一种反向传递更新系统，展现了这个网络在问题解决方面的显著性能提升。

    Apr, 2023

  • 基于大型语言模型的文档级机器翻译

    本文研究利用 Chat-GPT 建立的大型语言模型在文档级机器翻译中的应用，通过评估话语建模的能力，比较它与商业翻译系统和高级文档级机器翻译方法的性能，发现 Chat-GPT 在人类评估方面表现优异，同时揭示了话语建模的挑战和机遇。

    Apr, 2023

  • ChatGPT 在超越英语方面的综合评估：多语言学习中的大型语言模型

    本研究评估了多语言文本处理技术的热门系统 ChatGPT 在 37 种不同的语言中进行的 7 项不同任务的表现，揭示了其在不同 NLP 任务和语言方面的表现与其他模型相比较差，需要进一步的研究来发展更好的模型和了解多语言学习。

    Apr, 2023

  • 面向语言模型生成文本的鲁棒检测：ChatGPT 是否易于检测？

    该论文提出了一种用于开发和评估 ChatGPT 检测器的方法，重点研究它们对领域外数据和常见攻击方案的鲁棒性，结果显示在域内环境中，检测器可以有效地检测 ChatGPT 生成的文本，但在域外环境中存在容易受到攻击的弱点.

    Jun, 2023

  • ChatGPT 的评价可信吗？

    本文探讨了 ChatGPT 在不同任务中的表现评估问题，特别是针对数据污染问题，以 stance detection 为例，同时讨论了如何在当前大型、连续训练语言模型的时代保证公平的模型评估。

    Mar, 2023

  • ChatGPT 备选方案：大型语言模型调查

    通过对多个 LLM 模型的研究，本文不仅提供了全面的概述，还明确了现有挑战，并指出了未来的研究方向。该综述提供了关于生成型人工智能的当前状态的全面观点，为进一步的探索、增强和创新提供了启示。

    Mar, 2024

  • 电信领域中 LLMs 的能力和局限性观察

    本文分析了引入生成式人工智能（AI）的大型语言模型（LLMs）—— 如 OpenAI 的 ChatGPT、GPT3.5 和 GPT4、谷歌的 Bard、Large Language Model Meta AI（LLaMA）等 —— 在通信界面（特别是企业无线产品和服务）中应用的能力和局限性，并针对 Craddlepoint 公开数据进行多个用例的比较分析，包括领域自适应、内容连贯性、输入扰动和错误的鲁棒性。我们相信这种评估将为数据科学家提供建立面向领域特定需求的定制对话接口的有用见解。

    May, 2023