大模型下个范式：文本生成先写提纲，速度能快31倍

即便是当前最智能的大模型，其生成文本的方式仍然是逐字逐句地输出。这是否暗示着真正的人工通用智能（AGI）或许并非如此运作？

近期，斯坦福大学与Together AI的研究团队提出了一种全新的文本生成范式，它既不同于传统的自回归模式，也有别于扩散模型。该研究借鉴了NeurIPS 2024最佳论文中关于图像生成的“下一尺度预测”方法，并将其应用于文本领域。具体而言，模型会先生成几句话的“概念大纲”，然后逐层并行地填充细节，直至最终形成完整的文字。

这个新模型被命名为Next-Concept Modeling（NCM，下一概念建模），直接挑战了当前主流的Next-Token Modeling（下一token建模）范式。

在多项实验中，NCM在保持相近或更优生成质量的前提下，其生成速度相比扩散语言模型提升了10至31倍。

相关论文题为《Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation》，可在https://arxiv.org/abs/2610.14162查阅，代码也已开源在https://github.com/HazyResearch/ncm。

目前主流的大语言模型，如GPT、Claude、DeepSeek等，均采用自回归方式，即根据已有内容预测下一个token，后续输出依赖先前结果。而近年来兴起的扩散语言模型虽能同时处理多个位置，并通过反复去噪逐步生成文本，但并行处理并非一蹴而就：迭代次数减少可能导致质量下降，且每轮处理整段序列会带来额外开销。

NCM的思路则从根本上改变了“每一步生成什么”。它借鉴了图像生成中的next-scale prediction理念：图像可以先生成低分辨率版本，再逐级增加细节。既然文本可以通过扩散生成，那么文本是否也能拥有自己的“缩略图”呢？

难点在于文本与图像的维度差异：图像缩小后仍能辨识主体，而一句话删去几个字就可能完全改变含义。因此，模型需要学会一种既能概括又能便于细化的表示方式。为此，NCM设计了两个训练阶段。

第一阶段是训练一个多尺度残差VQ-VAE。这可以理解为一套文本编码与还原系统：将原文转换成多层离散编码，前几层编码较少，后几层编码更多，每层补充之前未表达的信息。为防止粗层“偷懒”，训练时会随机截去后续细层，要求系统仅依靠剩余部分尽量还原原文，从而迫使模型让前几层承载有用信息。

随后冻结该系统，训练Transformer根据此前各层累积的表示预测下一层。生成时，模型逐层推进，同一层的编码同时预测，最终由解码器还原成文本。

那么模型的实际效果如何？论文展示了德译英的翻译示例：NCM先将中间层解码，早期输出中夹杂重复和不完整表达，随着层级推进，内容逐渐清晰，最终在第十一步形成通顺译文。这种思路是否更接近人类的翻译过程？

NCM的另一特点是速度快。一方面，需要依次执行的生成轮数减少；另一方面，早期只处理较短的编码序列，每轮的平均开销也得以降低。

作者在单块H100 SXM 80GB上测试，LM1B无条件生成速度比强扩散基线快约21倍，且生成困惑度更优；OpenWebText上质量有竞争力，速度约为10倍；XSum摘要任务中，在ROUGE-L指标相当的情况下，速度约为31倍。训练成本方面，两个数据集分别少用4.9倍和4倍的token，而对比对象DUO、MDLM在OpenWebText上需跑100万步、处理超过5000亿个token。

在推理任务如数独中，NCM在更少的采样步骤下优于自回归和扩散基线。在仅提供30条线索的困难题上，NCM的完整解出率为86.1%，高于FMLM+的81.3%；生成器调用次数分别为12次和16次。

逐层细化整个棋盘的方式，可能更有利于协调全局约束。这相当于让AI换个角度看待问题。

展望未来，速度优势还可转化为另一种用途：在相同时间内生成多个候选，再从中挑选。团队尝试了最小贝叶斯风险解码，利用候选之间的相似性进行选择，进一步改善了翻译和摘要指标。

当然，距离通用大模型，NCM仍面临诸多挑战。论文主体实验使用的生成器参数规模约为1亿，扩展至7.25亿参数后，能否保持优势？在精确文本和长篇内容上的表现如何？这些都需要后续验证。

如果文字生成也可以被表示为“概念—细节”的层级结构，模型就能先想清楚再动笔，这恰恰是人类写作的方式。

这意味着未来文本生成的路线图可能会被改写。

参考内容：

• https://hazyresearch.stanford.edu/blog/2026-10-12-ncm
• https://scalingintelligence.stanford.edu/blogs/ncm/

本文来自微信公众号 “机器之心”（ID：almosthuman2014），编辑：泽南，36氪经授权发布。九游在线入口的读者如需了解更多技术细节，可访问论文链接。