写好剧本直接出片！Google发布首个「讲故事」的预告片生成模型

在此先前，基于爱情故事的有条件摄像机分解成（story based conditional video generation）是一块从未被探索过的教育领域，这就是第一篇朝该要能迈造出的学术论文。

一切都是用传统的尺度努力学习方法，即反之亦然从数据库之中努力学习摄像机分解成是不显然的，因为并未基于爱情故事的数据库集可以努力学习。

为了做到这一要能，研究者其他部门为Phenaki仿真设计者了两个组件，一个增量-的软件仿真用来把摄像机缓冲成离散的embeddings，以及一个Transformer仿真，把脚注embeddings翻译成摄像机tokens，其之中脚注矢量由预特训仿真T5X进行时UTF-。

1、增量-的软件摄像机仿真：C-VIVIT

这个可选要彻底解决的主要疑问是如何获得摄像机的缓冲总括，先前关于脚注转摄像机的工作要么对每帧影像进行时UTF-，但对摄像机大小有受限制；要么运用于分开大小的摄像机增量，无法分解成可变大小的摄像机。

C-ViViT是ViViT的因果关系变体，专为为摄像机分解成任务相应了仿真体系结构，可以在时窄和三维空间也就是说上缓冲摄像机，同时在时窄也就是说上保持自重生，从而允许自重生地分解成可任意大小的摄像机。

首先在三维空间和时窄Transformer之中删除[CLS]标记，然后对所有由三维空间增量计算的三维空间token运用于时窄Transfomrer，与ViViT之中对[CLS]标记的单一时窄Transformer的行驶不同。

最重要的是，ViViT增量并不需要一个分开大小的摄像机转换成，因为它在时窄上有别于的是all-to-all精力。将其替换为因果关系精力以后，C-ViViT增量就会变为自重生，并允许转换成帧的数量可变。

2、运用于双向Transformers从脚注之中分解成摄像机

可以把脚注到摄像机的任务众所周知是sequence-to-sequence的疑问，以数据库分析转换成的脚注矢量对应的摄像机tokens

大部分的seq-to-seq仿真都运用于自重生Transformer，根据UTF-的脚注特征按照顺序数据库分析影像或摄像机tokens，即时域时窄与序列大小成线性关系，对于窄摄像机的分解成来说是不可接受的。

Phenaki有别于掩码双向Transformer，通过一个小且分开的时域流程来减缓时域时窄，而不必慎重考虑不同的摄像机序列大小，双向Transfomrer可以同时数据库分析不同的摄像机tokens

在每个特训流程，首先从0到1之中随机选择一个掩码比率，并根据摄像机大小随机地用多种不同标记[MASK]替换一部分token

然后根据等价的脚注矢量和未掩码的摄像机tokens，通过最小化掩码token的接合熵损失来努力学习仿真参数。

在逻辑推理过程之中，首先将所有的摄像机tokens标记为多种不同词[MASK]，然后在每个逻辑推理流程之中，根据脚注矢量和未掩码的（要数据库分析的）摄像机tokens，平行地数据库分析所有被掩码（未知）的摄像机token

在每个时域流程之中，选择一个数据库分析token的数量，其余的tokens在下一步之中将被重新掩码和重新数据库分析。

对于窄摄像机的逻辑推理和自重生分解成，运用于事前特训（classifier-free）的便是来操纵分解成和脚注条件之间的某种程度。

一旦分解成了第一个摄像机，就可以通过运用于C-ViViT对先前一个摄像机之中的先前K个分解成的帧进行时UTF-，自动递归地逻辑推理造出其他帧。

用C-ViViT增量计算造出的token初始化MaskGIT，并继续分解成以脚注转换成为条件的剩余摄像机标记。

在摄像机逻辑推理过程之中，脚注条件可以是完全一致的，也可以是不同的，这也使得该仿真必需在先前和意味着脚注条件的动态内容之间实时地建立动态过渡，有效地分解成一个由转换成脚注阐述的动态爱情故事。

最终，研究者其他部门在1500万8FPS的脚注-摄像机对，5000万个脚注-影像对，以及4亿混合语料库LAION-400M上进行时特训，最终Phenaki仿真参数量为18亿。

batch size为512的情况特训了100万步，单次不到5天，其之中80%的特训数据库来自摄像机数据库集。

在动态的定性评价上，可以想到仿真对摄像机之中的人物和背景实时的操纵程度都很高，并且外观和摄像机的建筑风格也可以通过脚注提示来相应（例如，普通摄像机、卡通或铅笔画）

在系统性相比较上，Phenaki在zero-shot设置下做到了和其他仿真相当的分解成质量。

在慎重考虑特训数据库的负面影响时，可以发现在需用摄像机特训的仿真和用越来越多的影像数据库特训的仿真之间存在着安全性上的权衡。

参考资料：