- ChatGPT 检测:探究 ChatGPT 生成文本的现状概述
用于区分 ChatGPT 生成文本和人类生成文本的当前方法的综述,包括构建用于检测 ChatGPT 生成文本的不同数据集,采用的各种方法,对人类与 ChatGPT 生成文本特征的定性分析,并最终总结研究结果为一般性见解。
- 放射学 - Llama2:一流的大型语言模型用于放射学
Radiology-Llama2 是一个基于 Llama2 体系结构的大型语言模型,通过指令调整的过程在放射学领域达到了最先进的性能,它可以根据放射学检查结果生成连贯且临床有用的印象。
- 言辞探戈:比较 ChatGPT 和人类的词汇和词汇丰富度
通过比较 ChatGPT 和人类在进行相同任务时的词汇和词汇丰富性,研究表明 ChatGPT 倾向于使用较少的不同单词和较低的词汇丰富性,进一步的研究需要了解 ChatGPT 和其他生成型 AI 工具对不同类型的文本和语言的词汇和词汇丰富性 - 自然语言就是图的应有之义
我们提出了 InstructGLM(指导调整的图语言模型),基于自然语言说明系统地设计高度可扩展的提示,使用自然语言描述图的几何结构和节点特征,通过指导调优语言模型以一种生成方式在图上执行学习和推理,超过了所有竞争的 GNN 基准数据集,证 - 基于标记比例的逻辑回归蒸馏用于三元权重生成语言模型
通过提出一种称为令牌缩放逻辑蒸馏的知识蒸馏方法,我们对大规模生成式语言模型进行了三值权重量化训练的首次评估,其中困惑度下降不到 1.0,推理任务并无准确性损失。
- 蝇拍还是大炮?通过元建模选择具有性价比的语言模型
基于句子中给定的输入和候选语言模型,CELMOC 框架致力于以低成本实现高整体性能,最大程度地节省经费并匹配最大可用的语言模型的性能。
- 利用人群调整的生成式语言模型进行舆情挖掘
我们提出了一种从文本集合中挖掘意见的新方法,该方法是使用在不同人群收集到的数据上训练的生成式语言模型。我们描述了意见洞察挖掘的基本定义、方法论和通用算法。通过在实验中展示预先训练的生成式模型使用经过特殊设计的内容进行精调,我们展示了我们的方 - 通过数据生成和强化学习提升标点恢复
这篇研究论文提出了一种强化学习方法,利用主题相关的书面文本和最新的大规模预训练生成式语言模型,来填补自动语音识别中书面文本和语音识别文本之间的差距,并在标点恢复的两个基准数据集上取得了最先进的性能。
- 提取 - 生成轴:衡量生成式语言模型中内容 “借用
生成性语言模型的特性,对内容授权和归属产生了影响,因此我们提出提取 - 摘要轴用于评估生成模型,并强调开发相应的度量标准、数据集和注释指南的需求。我们限制讨论于文本模态。
- 使用社区参与建立社会文化包容的刻板印象资源
通过扩展印度社会背景下的评估资源,本研究对生成语言模型的评估进行了社会文化意识的拓展,特别关注了刻板印象的有害性,并通过建立包含印度特有身份不平等轴上刻板印象的资源,增加了对印度背景下刻板印象的了解。
- 基于 PAC 神经预测集学习生成语言模型不确定性的量化
通过神经预测集模型以更准确地量化不确定性,本文提出的方法在四种语言数据集和六种模型上表现出 63% 的平均不确定性改进,相对于标准基准方法来说。
- 使用 ChatGPT 进行神经机器翻译数据生成和增强
使用生成式语言模型创造虚构平行语料库是对手动平行语料库的一个替代方案。我们的实验发现,虚构语料库可以为小型手动采集的语料库补充数据,从而提高翻译信号的质量。
- 用迭代零样本 LLM 触发知识图谱构建
本文提出了一种基于生成式语言模型的知识图谱生成方法,通过迭代提示和零样本学习等策略解决了知识图谱构建中的一些核心问题,具有可扩展性和广泛适应性。
- 针对自回归序列模型的广义知识蒸馏
本论文提出了一种推广的知识蒸馏方法,旨在解决在训练和生成阶段输出序列之间的差异,并通过优化替代的发散方法来处理模型不充分的问题。实验证明,Generalized Knowledge Distillation (GKD) 在压缩生成语言模型时 - 非政治性情报?审计 Delphi 对美国有争议的政治问题的回应
通过 Delphi 模型的评估,本文发现该模型在不同的美国政治子群体中存在显著的政治偏向和置信不足等问题,并在数据女权主义的视角下对模型的政治中立性进行了讨论和反思。
- SituatedGen: 融合地理和时间背景的生成常识推理
研究了通识常识推理中的文本生成任务,提出了一种面向具体地理和时间背景下的对比句子生成的数据集及评价模型,并实验证明现有最先进的语言生成模型在推理的通识常识上仍然远远落后于人类表现。
- 共形语言建模
该研究介绍了一种新的适用于生成式语言模型的公差预测方法,它不仅能够精确地预测结果,还具有统计学的可靠性。研究者们通过校准样本输出和严格限制机制来实现这种方法。
- 生成式语言模型中意外自我加强学习放大的语言偏见 —— 一个视角
探讨生成式语言模型在数字应用中的广泛使用可能会不经意地引发自我加强学习循环,从而放大现有的语言偏见,这可能会影响未来几代人的语言和认知发展,并强调有必要进行严格的研究,以确保这些强大技术的有效、安全和公平使用,同时保持人类语言的丰富性和多样 - KDD黑盒生成语言模型中的提示拒绝预测
通过黑盒攻击聊天 GPT 并手动标记其响应构建了一个拒绝分类器, 进而基于这个分类器和 Quora Insincere 问题数据集训练了一个提示分类器, 能预测 ChatGPT 是否拒绝一个给定的问题。
- LexGPT 0.1:基于 Pile of Law 的预训练 GPT-J 模型
该篇论文旨在构建专为法律领域定制的生成语言模型,其中 LexGPT 模型可通过 “无代码” 方法对专业数据进行微调,以用于下游任务,但分类器性能比最先进的结果明显较低。