要点:
Stable Point Aware 3D (SPAR3D) 引入了实时编辑功能,并在不到一秒的时间内从单个图像生成 3D 对象的完整结构。
凭借首创的架构,SPAR3D 将精确的点云采样与先进的网格生成相结合,为 3D 资产创建提供前所未有的控制。要了解有关底层技术的更多信息,您可以阅读完整的研究论文这里。一个
该模型在许可下可免费用于商业和非商业用途 稳定性AI社区许可证。一个
您可以下载权重抱脸和代码GitHub,或通过访问模型稳定性AI开发者平台API。
正如与合作伙伴宣布的那样NVIDIA 在 CES 上,我们很高兴推出 Stable Point Aware 3D (SPAR3D),为 3D 生成树立了新标准。SPAR3D 非常适合在 NVIDIA RTX AI PC 上运行,可在一秒内从单个图像实时编辑并完整生成 3D 对象的结构。
您可以下载权重抱脸和代码GitHub,或通过访问模型稳定性AI开发者平台API。一个
模型的优点
SPAR3D 具有以下高级功能,为游戏开发人员、产品设计师和环境构建者转变了 3D 原型设计:
前所未有的控制:允许用户通过删除、复制、拉伸、添加特征或重新着色点来直接编辑点云。
完整的结构预测:通过为完整 360 度视图提供准确的几何形状和详细预测来增强 3D 构造,包括通常隐藏的区域,例如物体的背面。
闪电般快速的生成:仅需 0.3 秒即可将编辑后的点云转换为最终网格,实现无缝实时编辑。从单个输入图像中,每个对象只需 0.7 秒即可生成高度详细的 3D 网格。
首创的架构
SPAR3D 的架构将精确的点云采样与先进的网格生成相结合,为 3D 资产创建提供前所未有的控制。该过程分两个阶段进行:
第一阶段:专门的点扩散模型生成捕获物体基本结构的详细点云。
第二阶段:三平面变压器沿着原始图像特征处理该点云,产生高分辨率三平面数据。该数据驱动最终的重建,从源图像中准确捕获几何形状、纹理和照明。
这种双阶段方法独特地将基于回归的建模的精度与生成技术的灵活性结合起来,从而实现精确的重建和创造性的控制。这种先进的架构可确保精确的几何形状和准确的 360 度预测,从而简化 3D 建模工作流程。
要了解有关底层技术的更多信息,您可以阅读完整的研究论文这里。一个