从文本生成3D图像,英伟达提出比谷歌更优解决方案Magic3D

2022-11-23

谷歌早前曾介绍了一个可以通过文本生成3D图像的AI模型Dreamfusion。其中,只需输入简单的文本提示,这个利用2D数据训练出来的模型可以为你生成相应的3D图像。

但英伟达的研究人员认为,尽管谷歌DreamFusion展示了预训练的文本到图像扩散模型在优化神经辐射场(NeRF)方面的实用性,并取得了显著的文本到3D合成结果,但所述方法存在两个固有的局限性:

  • NeRF的优化极其缓慢;

  • NeRF的低分辨率图像空间监控导致处理时间长,并且只能生成低质量的3D模型。

所以,英伟达提出了一个全新的解决方案Magic3D,利用两阶段优化框架来解决相关限制。最终,团队希望这可以帮助实现3D合成的普及。

与Dreamfusion一样,Magic3D的核心依赖于一种根据文本从不同角度创建图像的图像生成模型。英伟达的研究团队使用的是图像模型eDiffi,而谷歌则依赖Imagen。

对于团队提出的两阶段优化框架,他们首先使用低分辨率扩散先验获得粗略模型,并使用稀疏的3D hash grid structure进行加速。使用粗糙表示作为初始化,研究人员进一步通过与高分辨率latent扩散模型交互的高效可微渲染器来优化纹理化的3D网格模型。

这种方法的优势在于,生成型AI模型不必使用稀缺的3D模型进行训练。与Nvidia免费提供的文本到3D模型Get3D不同,Magic3D同时可以从不同类别生成众多3D模型,无需额外训练。

英伟达表示,实验结果表明,Magic3D可以在40分钟内创建高质量的3D网格模型,这比DreamFusion快2倍,同时分辨率更高。这家公司进一步指出:“用户研究则显示,61.7%的评分者更喜欢我们的方法而不是DreamFusion。”

另外,Magic3D可以执行基于提示的3D网格编辑。给定低分辨率3D模型和基本提示,研究人员可以更改文本以更改生成的模型。同时,团队演示了在数个迭代中保持相同的主题(通常称为连贯性),并将2D图像的风格(如立体派绘画)应用于3D模型。

英伟达的研究人员评价道:“结合图像条件生成功能,我们为用户提供了控制3D合成的新方法,并为各种创意应用开辟了新途径。”

从文本生成3D的能力感觉像是当今扩散模型的一种自然进化。在对大量数据进行密集训练后,相关模型可以使用神经网络合成新内容。仅在2022年,我们就已经看到了DALL-E和Stable Diffusion等功能强大的文本到图像模型,以及谷歌的文本到3D模型DreamFusion等等。

对于Magic3D,它将允许任何人在不需要特殊训练的情况下创建3D模型。尽管团队目前依然在优化改善模型,但随着技术的发展和成熟,相信这将能加快普及3D合成,并促进游戏和VR行业的发展。

原文来自https://news.nweon.com/102785

在线咨询
联系电话

15605156696