基于递归层次主题引导的循环神经网络语言生成模型

ICMLDec, 2019

基于递归层次主题引导的循环神经网络语言生成模型

Recurrent Hierarchical Topic-Guided RNN for Language Generation

Dandan Guo, Bo Chen, Ruiying Lu, Mingyuan Zhou

TL;DR提出了一种新的基于递归层次语义结构的流式话题模型的递归神经网络（RNN）语言模型，能够捕捉语料库中的语法和整体语义，并通过动态深度话题模型进行自然语言生成。实验结果表明，该模型不仅优于基于较大语境的 RNN 语言模型，而且能够学习可解释的递归多层话题，生成句法正确、语义连贯的多样句段。同时提出了一种融合随机梯度马尔科夫链蒙特卡洛和递归自编码变分贝叶斯的混合推理方法。

Abstract

To simultaneously capture syntax and global semantics from a text corpus, we propose a new larger-context recurrent neural network (RNN) based language model, which extracts recurrent hierarchical semantic struct

language model recurrent neural network deep topic model natural language generation text corpus

发现论文，激发创造

重温图上的随机游走学习

通过对图的随机游走产生机器可读的记录，并通过深度神经网络处理这些记录，直接进行顶点级或图级的预测，我们重新审视了图上机器学习的一个简单思想。我们称这些随机机器为随机游走神经网络，并表明我们可以设计它们成为同构不变并具备概率下图函数的通用逼近能力。一个有用的发现是，只要顶点匿名，几乎任何种类的随机游走记录都保证了概率不变性。这使得我们能够以纯文本的形式记录随机游走，并采用语言模型读取这些文本记录以解决图任务。我们进一步使用马尔科夫链理论中的工具，建立了与消息传递神经网络的并行性，并表明随机游走神经网络在构建过程中减轻了消息传递中的过度平滑，而概率性不达到则表现为概率性不足。我们展示了基于预训练模型的随机游走神经网络能够解决图上的一些难题，如分离三阶通用 WL 测试失败的强正则图、计数子结构和在 arXiv 引用网络上进行传导分类，而无需训练。代码可在此链接中获取。

Jul, 2024

深度图像至食谱翻译

深度图像到菜谱的翻译，是计算机视觉和自然语言生成的交叉领域，旨在弥合珍贵食物记忆与烹饪艺术之间的鸿沟。

Jul, 2024

ConU: 具有正确性覆盖保证的大型语言模型中的符合不确定性

通过从预测集构建的置信度条件中整合正确性对齐的不确定性准则，本研究在自然语言生成任务中，将确定性预测转化为严格的理论保证，从而解决了最近大型语言模型中的异构不确定性问题，并利用抽样不确定性测量方法提高了先前最先进的方法。通过在模型的非固定答案分布中校准预测集，实现对 6 个大型语言模型在 4 个自由格式的自然语言生成数据集上的正确覆盖率的严格控制，证明了我们的方法在实际开放式自然语言生成应用中提供可靠保证的高效性。

Jun, 2024

xTower：用于解释和纠正翻译错误的多语言 LLM

介绍了 xTower，这是一个基于 TowerBase 搭建的开放式大型语言模型，旨在提供针对翻译错误的自由文本解释，以引导生成修正翻译的过程，并通过内在和外在评估来评估其生成的解释的质量。在多个实验设置中测试了 xTower，证明了在翻译质量上有显著改进，凸显出 xTower 不仅能产生合理和有用的自动翻译解释，还能利用这些解释来建议修正的翻译。

Jun, 2024

LLaMIPa: 增量对话解析器

该研究提出了首个使用在 SDRT 风格标注的语料库上进行微调的大型语言模型（LLM）进行话语解析实验。结果是一个名为 LLaMIPa（LLaMA 增量解析器）的话语解析器，能够更充分地利用话语背景，相较于只使用编码器模型提供局部、上下文敏感的话语单元表示的方法，取得了显著的性能提升。此外，它能够逐步处理话语数据，这对于将来在下游任务中使用话语信息是必不可少的。

Jun, 2024

Themis：面向灵活且可解释的自然语言生成评估

为了解决自然语言生成任务（NLG）的评估问题，本文构建了一个大规模的 NLG 评估语料库 NLG-Eval，并提出了一个专门用于 NLG 评估的大型语言模型 Themis，该模型通过多角度一致性和基于评分偏好的方法进行训练，能够灵活、可解释地进行评估，无需参考，并在各种 NLG 任务上展现出优越的评估性能，同时在未见任务上具有良好的泛化能力，超越了其他评估模型，包括 GPT-4。

Jun, 2024

语境长距离从语言到视觉的转换

通过扩展语言模型的上下文长度，我们实现了视频片段中的长上下文传递，使得大型多模态模型能够理解数量级更多的视觉标记，并开发了一个纯合成的长视觉基准测试，证明了 Long Video Assistant（LongVA）在处理长视频方面的优越性能。

Jun, 2024

边缘修剪中的 Transformer 电路寻找

自动电路发现的一种有效且可扩展的解决方案是基于优化问题的边缘修剪，该方法在 GPT-2 模型中找到使用少于一半边缘的电路，并与之前的方法在速度和质量上表现出优势。

Jun, 2024

跨文化对齐是否改变语言模型的常识道德？

用英文資源對日本語言模型進行對齊，並評估結果微調模型的通俗道德是否與日本文化保持一致，結果顯示，通俗道德的某些方面是可遷移的，但其他方面則不一定。

Jun, 2024

自动诗歌生成中的多样性评估

评估自动生成诗歌的多样性，通过比较自动生成诗歌的结构、词汇、语义和风格等维度的分布与人类诗歌的分布，并考察不同模型类型和微调类型，发现当前的自动生成诗歌系统在多个维度上缺乏多样性，但风格条件和字符级建模明显增加了多样性。这些限制可用于更加多样化的未来诗歌生成模型。

Jun, 2024