发布日期：2025-08-29 10:29    点击次数：56

掩码闹翻扩散模子，可能并莫得看上去那么横蛮。

这是清华及英伟达接洽东谈主员最新建议的不雅点。

他们发现，当作闹翻扩散模子中性能最强的类别，掩码扩散模子可能有点"被包装过度"了。为啥呢？

第一，这类模子所声称的超高性能，其实是由于一个工夫上的小污点，用 32 位推断时，模子会产生一种"降温"成果，使模子看起来弘扬很好，但执行上仅仅各样性被缩短了。用更精准的 64 位推断，就会发现它们的弘扬并不如声称的那么好。

第二，这些模子引入了"时候"的见识，看起来很高档，但接洽发现这皆备没必要。

第三，这些模子其实与已有的绵薄掩码模子皆备等价，独一正确确立绵薄模子的参数，就能达到讨论成果。

目下，这篇接洽已入选 ICLR 2025。

具体说了啥？统统来看。

布景

跟着 SEDD 赢得 ICML 2024 最好论文奖，发祥于 D3PM 的闹翻扩散模子迎来了复兴并成为自追忆范式的有劲竞争者，在文本、卵白质等闹翻序列生成任务上掀翻了接洽飞腾。

当作闹翻扩散模子中性能最强的类别，掩码式闹翻扩散模子（简称掩码扩散模子）在后续职责中被进一步简化，从而在表面方式上与一语气空间扩散模子对皆。

掩码扩散模子通过引入一个一语气的"时候"或"噪声水平"的见识，界说了一个从原始数据渐渐"加噪"（掩码）到皆备掩码情景的前向流程，以及一个学习从掩码情景缓缓"去噪"（预计被掩码部分）归附数据的反向（生成）流程。

在使用生成式困惑度（Gen PPL）当作预计文本生成质料的决策时，掩码扩散模子在先前职责中均证据出了随采样步数增多的性能提高，并在填塞多步数下零散自追忆模子。

这种对比是否公谈？同期，当作闹翻空间中的"扩散"模子，是否意味着其不错鉴戒标准扩散模子关连算法来增强性能？

论文从进修和采样两个方濒临掩码扩散模子进行解构。

掩码扩散模子与掩码模子的各别

尽管掩码扩散模子鉴戒了扩散模子的框架，但其中枢操作与经典的掩码言语模子（如 BERT，Mask-Predict） 或掩码图像生成模子（如 MaskGIT）有着相似之处：都是对部天职容进行掩码（masking），然后预计被掩码的内容。

BERT 在进修时只会掩码一小部分 token，适用任务为表征学习、文本连结而非生成，而 Mask-Predict 与 MaskGIT 扩大了掩码比例的鸿沟并可用于文本、图像生成。

比较于掩码模子，掩码扩散模子引入了一个要道的复杂性：时候步（time step）。其进修和采样都严格依赖于一个事先界说的、随时候变化的掩码（噪声）调解。

模子需要根据现时的时候步 t 来预计原始数据。

具体而言，它和掩码模子的各别体当今：

在进修中，掩码模子被掩码的 token 数目及不同掩码比例对应的耗费权重不错自在设定；掩码扩散模子消亡时候对应被掩码 token 的数目是不细方针，不同时期的折柳及权重需要特殊确立使得耗费组成模子似然（likelihood）的字据下界（ELBO）。

在采样中，掩码模子按照 token 为粒度，逐 token 解码；掩码扩散模子以时候为粒度进行闹翻化，从时候 t 革新到更小的时候 s 时，每个 token 被解码与否通过概率采样决定，被解码 token 的数目是不细方针。

掩码扩散模子的采样存在隐性数值问题

先前评估掩码扩散模子性能的要道决策之一是 Gen PPL，其通过推断参考模子（如 GPT-2）对模子生成内容的"讶异进程"来预计生成质料。

可是，Gen PPL 决策对采样流程中的超参数（如采样温度）极为敏锐，况且不错通过调养这些参数平缓地"刷低"数值，但这并不代表模子本人的生成智商有本质提高。

本接洽初次揭露，掩码扩散模子特有的采样流程存在荫藏的数值问题，即使在常用的 32 位浮点数精度下也会带来肖似于缩短温度的成果。

为了证据这一丝，论文很是测试了生成句子的熵（entropy）来预计生成各样性。

跟着采样步数的增多，Gen PPL 抵制下跌并越过自追忆模子（左图），可是熵也在捏续缩短（右图）。

当采样流程以 64 位精度进行时，熵领路在与自追忆模子肖似的水平，而 Gen PPL 则显赫升高并远远过期于自追忆模子。

论文通过进一步的数学推导，从表面上解释了这一温度缩短成果的根源。

具体而言，在 [ 0,1 ) 区间上均匀采样的浮点数执行鸿沟为 [ 0,1- ε ] ，其中 ε 是一个接近 0 的极少，这会导致基于 Gumbel-max 手段的类别采样（categorical sampling）存在截断问题。

最终的折柳不遵照原先的类别概率 π，而会偏移到

，其中

这一偏移会加强原先概率也曾比较大的类别，从而达到肖似缩短温度的成果。

通过对类别采样部分的代码作念对照检会，著作考据了 64 位采样 + 手动截断如实不错复现 32 位采样的成果。

同期，上述数值问题关于单个 token 并不显赫，逐 token 解码的模子（如自追忆模子、掩码模子）在 32 位下基本不受影响。

可是，此问题会在掩码扩散模子中很是影响扫数 token 之间的交互，导致某些 token 被优先解码，进一步缩短生成各样性。

不错说，这是掩码扩散模子采样流程私有的数值问题。

掩码模子与掩码扩散模子的等价性

先前职责从最优聚积的角度诠释了掩码扩散模子中的时候并不消要，本论文进一步在进修和采样两方面诠释掩码扩散模子和掩码模子的等价性。

具体而言：

在进修耗费函数上，掩码扩散模子与时候关联的似然下界等价于掩码模子的以 token 为粒度的耗费函数，独一清脆：（1）被掩码 token 的个数 n 在 1 和 L 之间均匀采样，其中 L 是序列的总长度（2）预计耗费对 n 取均值，即施加"似然权重" 1/n来达成最大似然进修。

需要庄重的是，对不同时期 / 掩码比例施加的权重并不影响聚积在无尽容量下的最优值，而决定了聚积进修流程中的要点优化区域。

文本生成的自追忆范式遴选了最大似然进修，而在图像上，最大似然进修频频会带来生成质料的下跌。

在采样流程上，掩码扩散模子逆时候的采样流程不错通过论文建议的首达采样器（first-hitting sampler），革新为与掩码模子讨论的逐 token 采样，最多需要 L 步便可达到莫得闹翻化弱点的精准采样，而掩码扩散模子原有采样流程需要对时候无尽细分智力皆备精准。同期，弃取逐 token 解码不错幸免上文所述的荫藏数值问题。

结语

掩码扩散模子引入的"时候"见识可能不仅有害，反而有害（导致数值问题和不消要的复杂性）。

同期，其诚然带有"扩散"两字，但与一语气空间上的扩散模子偏激关连算法关系不大，如在论文中，作家仿照扩散模子为掩码扩散模子斥地了高阶采样算法，其并不如一语气空间中的加快成果显赫。

在践诺中，使用掩码扩散模子、引入一语气时候关连的进修 / 采样流程省略并不消要，绵薄的掩码模子（如 MaskGIT 偏激变种）在见识上更纵脱，达成上更领路，况且在表面上具有同等的后劲。

掩码模子当作自追忆模子使用飞速 token 端正和双向庄重力机制的变种，相似是基于似然的模子，不错当作建模闹翻数据生成的另一种弃取。

由于双向庄重力和 KV cache 机制不兼容，掩码模子在长高下文的推理速率上相较自追忆模子存在瓶颈。

近期职责通过在双向庄重力和因果庄重力机制之间插值、使用飞速端正的自追忆模子等法子使模子保捏双向感知智商的同期，推理速率向自追忆模子围聚。

也有职责探究非掩码类型的闹翻扩散模子与一语气空间扩散模子的表面磋议，其扩散机制愈加属实，而非如掩码扩散模子一样是无伤大雅的噱头。

论文第一作家郑凯文为清华大学推断机系三年岁博士生，在 ICML、NeurIPS、ICLR 发表扩散模子关连一作 5 篇。著作通信作家为朱军训导，联结者张钦圣、陈永昕、毛含子为英伟达接洽员，刘洺堉为英伟达副总裁与 Deep Imagination 接洽组主宰。

论文标题：

Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling

论文赓续：

https://arxiv.org/abs/2409.02908

论文博客：

https://zhengkw18.github.io/blog/2024/mdm/

一键三连「点赞」「转发」「谨防心」

接待在驳斥区留住你的思法！

—  完  —

学术投稿请于职责日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 神志主页赓续，以及磋议神志哦

咱们会（尽量）实时恢复你

� � 点亮星标 � �

科技前沿进展逐日见体育游戏app平台

---