ㅤ	info
paper	Scalable Diffusion Models with Transformers
github	https://github.com/facebookresearch/DiT/tree/main
个人博客主页	http://myhz0606.com/article/dit
create date	2024-03-08

Motivate

Method

1. Token化处理 。Transformer的输入为一维序列,形式为 (忽略batch维度)，而 LDM 的latent表征 为spatial张量。因此,需要设计合适的Token化方法将二维latent映射为一维序列。

2. 条件信息嵌入 。sable diffusion火出圈的一个关键在于它能够根据用户的文本指令生成高质量的图像。这里面的核心在于需要将文本特征嵌入到扩散模型中协同生成。并且扩散模型的每一个生成还需要融入time-embedding来引入时间步的信息。因此，若要用Transformer架构取代 Unet 需要系统研究Transformer架构的条件嵌入

Patchify(token化)

DiT block设计

论文原话：Rather than directly learn dimensionwise scale and shift parameters γ and β, we regress them from the sum of the embedding vectors of t and c.

Result

DiT的scalable能力验证

• patch size越小生成的效果越好（意味着初始时sequence的token数越多）。这里不太明白为什么作者不实验p=1的情形。因为latent表征本身就可以视作是CNN抽取的隐式token，只要flatten即可，很多hybrid的架构（CNN+ViT）都是这么玩的，或许是为了控制计算量？

• model size越大生成效果越好。从实验结果中 DiT-XL 和 DiT-L 的差距很小，可能是因为训练数据量还不够大体现不出大模型的优势

DiT Block有效性验证

小结

参考文献