Stability AI发布的一款2D图像转3D建模的AI成像大模型,这款来自Stability AI的新模型让我们看到了从单张图片生成逼真3D物体的曙光。
相比之前的老款模型Zero1-3和Zero123-XL,Stable Zero123最大的创新在于训练数据集和方法的优化。
Stability AI团队筛选出了一个改进的训练数据集,仅保留了高质量的3D对象,并且使用的渲染方法比以前的方法更加逼真。且在训练和推理过程中,为模型提供了一个预估的摄像机角度,这种高度调节能够让AI做出更加明智、质量更高的预测。
这些不仅提升了图像细节的逼真度,也让神经网络更深入地理解目标物体的三维结构。
Stable Zero123使用方法:
在使用时,只需要输入一张图片,Stable Zero123就可以生成该物体的不同角度视图,而无需人工指定关键点或摄像机参数。
这些自动生成的多视图保证了3D重建的质量。
测试结果表明,就算从一张简单的草图出发,也可以重建出细节丰富的3D模型。
目前,Stable Zero123模型已在Hugging Face平台免费开放,供非商业性使用和研究体验。
https://huggingface.co/stabilityai/stable-zero123
生成整个3D模型还需要消耗不小的计算资源,建议使用至少24GB VRAM的显卡,不过生成单一角度的视图门槛则不高。
使用时无需修改大模型代码,只需准备好相关的本地硬件环境就可以便捷体验。