英伟达团队再次于自己的老本行大发光彩。近日发布的Edify3D支持用户从文本提示或者图像来直接生成4K级别的3D实体与场景，这再次为游戏与影视设计行业注入了新的AI活力。

不满足于只是自己在纸上照着自己的想法去写写画画，但是又没精力去学习专业的3D建模技能，怎么破?

你有曾想过，仅仅通过文字描述自己的想象，就可以将其创造为分辨率高达4K的实体3D模型吗?

现在，你可以通过Nvidia发布的Edify3D实现你的奇思妙想了!只要你具有足够好的创意，甚至可以利用Edify3D来创造出经典的游戏、电影的3D模型实体，例如有趣的小黄人。

请看官方视频展示，用户只是进行文字描述，Edify3D就可以即时生成高清的3D布景、头骨、乌龟等3D实体。

由于创建3D内容需要相关的专业技能和专业知识，这使得此类资产比图像和视频等其他视觉媒体稀缺得多。这种稀缺性引出一个关键的研究问题，即如何设计可扩展的模型以有效地从这些数据中生成高质量的3D资产。

Edify3D可在2分钟内根据文本描述或者前景图像生成高质量的3D资产，其提供详细的几何图形、清晰的形状拓扑、井然有序的UV映射、高达4K分辨率的纹理以及基于物理的材质渲染。与其他文本到3D方法相比，Edify3D始终如一地生成卓越的3D形状和纹理，在效率和可扩展性方面都有显著改进。

Edify3D的流程为:在给定对于3D实体对象的文字描述后，多视图扩散模型会合成描述对象的RGB外观。然后，生成的多视图RGB图像被用作使用多视图ControlNet合成表面法线的条件。接下来，重建模型将多视图RGB和正常图像作为输入，并使用一组潜在标记预测神经3D表示。然后进行等值面提取和随后的网格后处理，以获得网格几何。放大的ControlNet用于提高纹理分辨率，对网格光栅化进行调节以生成高分辨率多视图RGB图像，然后将其反向投影到纹理贴图上。

多视图扩散模型

创建多视图图像的过程类似于视频生成的设计的我们通过使用相机姿势调节文本到图像模型，将它们微调为姿势感知多视图扩散模型。这些模型将文本提示和摄像机姿势作为输入，并从不同的视点合成对象的外观。

研究者在模型训练时，训练了以下模型:

• 基于多视图扩散模型，该模型根据输入文本提示合成RGB外观以及相机姿态。

• 多视图ControlNet模型，该模型基于多视图RGB合成和文本提示来合成物体的表面法线。

• 多视图上采样控制网络，该网络在给定3D网格的栅格化纹理和表面法线条件下，将多视图RGB图像超分辨率提升至更高分辨率。

研究者使用Edify Image模型作为基础扩散模型架构，结合一个具有27亿参数的U-Net，在像素空间中进行扩散操作。ControlNet编码器使用U-Net的权重进行初始化。他们通过一种新机制扩展了原始文本到图像扩散模型中的自注意力层，以关注不同视图，从而使得其作为具有相同权重的视频扩散模型。通过一个轻量级MLP对相机姿态（旋转和平移）进行编码，随后将这些编码作为时间嵌入添加到视频扩散模型架构中。

研究者在3D对象的渲染图上微调文本到图像模型。在训练过程中，他们同时使用自然2D图像以及随机数量（1、4和8）的视图的3D对象渲染图进行联合训练。使用