必知教程!WePOkE外挂透明挂辅助脚本(透视辅助)wpk有外挂(2024已更新)(哔哩哔哩)
参数对损失进行训练，与基础模型训练中使用的方法一致。对于多视图ControlNets，首先使用多视图表面法线图像训练基础模型。随后，我们添加一个以RGB图像为输入的ControlNet编码器，并在冻结基模型的同时对其进行训练。
关于视图数量扩展的消融研究
在训练过程中，研究者会对每个训练对象抽取1、4或8个视图，为每个视图分配不同的抽样比例。虽然可以在推理过程中采样任意数量的视图，以使用不同数量的视图进行训练，但最好还是将训练视图与推理过程中预期的视图数量相匹配。这有助于最大限度地缩小训练和推理性能之间的差距。
研究者对比了两个模型:一个主要在4视图图像上训练，另一个在8视图图像上训练，并在相同视角采样10视图图像。如下图所示，与使用4视图图像训练的模型相比，使用8视图图像训练的模型生成的图像更自然，各视图之间的多视图一致性更好。
使用四个视图的图像进行训练的模型
使用八个视图的图像进行训练的模型
重建模型
从图像观测中提取3D结构通常被称为摄影测量，该技术已被广泛应用于许多3D重建任务中。研究者使用基于Transformer的重建模型从多视图图像中生成3D网格几何形状、纹理图和材质图。他们发现，基于Transformer的模型对未见过的物体图像表现出强大的泛化能力，包括从2D多视角扩散模型合成的输出。
研究者使用仅解码器的Transformer模型，以三平面作为潜在3D表示。输入的RGB和法线图像作为重建模型的条件，在三平面标记和输入条件之间应用交叉注意力层。三平面标记通过MLP处理以预测用于签名距离函数（SDF）和PBR属性的神经网络场，用于基于SDF的体积渲染。神经网络SDF通过等值面提取转换为3D网格。PBR属性通过UV映射烘焙到纹理和材质图中，包括漫反射颜色和如粗糙度和金属通道等材质属性。
研究团队使用大规模图像和3D资产数据来训练重建模型。该模型通过基于SDF的体积渲染在深度、法线、掩码、反射率和材质通道上进行监督，输出由艺术家生成的网格渲染。由于表面法线计算相对昂贵，所以需要仅在表面计算法线并对真实情况进行监督。
他们发现将SDF的不确定性与其对应的渲染分辨率对齐可以提高最终输出的视觉效果。此外，还需要在损失计算期间屏蔽物体边缘以避免由混叠引起的噪声样本。为了平滑样本间的噪声梯度，他们对最终重建模型权重应用了指数移动平均（EMA）。
重建模型方面的消融研究
研究者发现，重建模型在恢复输入视图方面始终比新视图更准确。该模型在视点数量方面具有良好的扩展性，即随着提供更多信息，其性能得到提升。