3D大模型公司VAST完成数亿元融资,Scaling Law打造下一代3D内容平台|绿洲领投

参赞生命力

VAST 今天宣布完成了数亿元天使轮及 Pre-A 轮融资,天使轮由绿洲资本独家领投,Pre-A 轮领投方为达晨财智以及春华创投,英诺天使基金、水木清华校友种子基金跟投,并创造了 3D 大模型赛道的最大融资金额。 绿洲资本投资负责人认为:“2023 年,VAST 团队已经看见 3D 的重要性,并笃定地朝着这个方向耕耘。团队于 2023 年在全球率先推出 3D 生成模型,并且不断迭代出新的模型,最近推出了 3D 基础模型 Tripo 2.0,为自由创作打开了一扇大门。作为 VAST 的天使投资人,绿洲见证了公司一路以来的成长和蜕变,也看到了团队源源不断的创造力。技术的演进充满挑战,需要长期深耕和持续投入,绿洲相信创新技术中的生命力,将持续陪伴团队共同成长。 ” 同时,全新的 3D 大模型 Tripo 2.0 也在今天与大家正式见面。

关于 VAST

VAST 成立于 2023 年 3 月,是一家致力于通用 3D 大模型研发的 AI 公司,公司目标是通过打造大众级别的 3D 内容创作工具,建立 3D 的 UGC 内容平台,让基于 3D 的空间成为用户体验、内容表达、提升新质生产力的关键要素。

2024 年初,VAST 推出数十亿参数级别的 3D 大模型 Tripo 1.0,8 秒就可用图/文生成 3D 网格模型,上线至今全球用户生成超过 500 万个 3D 模型。

2024 年 3 月,VAST 与全球顶级开源社区 Stability AI 共同推出开源 3D 基础模型 TripoSR,该模型创造了 0.5 秒完成单图生 3D 模型的顶尖表现,至今仍是 3D 生成领域开源社区的热门项目。

今天,VAST 推出 Tripo 2.0,验证了 3D 大模型的 Scaling Law,也将 3D 生成推向下一个里程碑。

Tripo 2.0 采用了融合 DiT 和 U-Net 模型的复合架构,通过学习捕捉大规模数据中的几何和材质分布,更好地保证了 3D 模型几何形状的细节和材质的输出质量。

Tripo 2.0 能够完成 10 秒生成形状几何,10 秒生成纹理及 PBR,为 3D 生成领域设立了通用模型新的效果标准。

据我们所知,Tripo 在所有的 3D 生成任务的效果中均处于全球领先地位。

GPTEval3D:基于 MLLM 的评估指标(3D 生成形状、纹理质量、细节表现、输入条件遵循性、输出多样性),旨在评估生成的 3D 内容的语义准确性和质量

理解单个物体是理解世界的开始

对于创作 3D 内容的用户而言,文字输入的生成方式提供了“言出法随、创造世界”的可能,图片输入则提供更多创作过程中的可控性。

与传统 3D 重建的应用场景不同,大部分纯粹的创意概念可能超出了现实世界的物理限制。许多游戏、设计项目或虚拟场景中的 3D 内容实际上也没有现实中的实体。某些环境异常恶劣,即使投入大量资金购买先进的扫描设备,也无法扫描、修复或重建这些内容。 因此,3D 大模型对于文字生成复杂组合物体的能力、以及单图输入的空间理解及还原的能力,就成为评价体系中最为重要的考察标准。 对于 Tripo 而言,这意味着需要具备以下能力: 第一是精准的语言理解能力,将用户的文本输入意图准确地反映成物体的几何结构和组成细节,还包括文本中各部分之间的空间关系; 第二是对空间的深度和精确还原能力,确保从任意视角的单一图片中准确推断三维结构和深度信息,精确还原复杂物体的几何形状和纹理细节,并保持整体一致性; 第三是对于物理规律和常识的理解能力,确保生成的内容既符合用户意图,又在遵循基本物理法则的情况下保持逻辑一致性,使结果在创意自由度和现实合理性之间找到平衡; 这就是 Tripo 交出的答卷:见微知著,探索世界的背面。 比如“长着牙、拿着树叶的叶子精怪”“有番茄、生菜、胡萝卜的菜篮”“站在水面玻璃球上的火烈鸟”:

以上效果由 www.tripo3d.ai 直出 均为 AI 生成 3D 模型的六视渲染图

再以这张翡翠布花的图片为例,左边的花束与主干花束是黏连还是分开?叶片之间的重叠关系是什么?花束的背后是什么样? 再比如这艘船,桅杆的结构是什么?船舱的结构如何设计? 除了精进的文本和视觉输入理解能力之外,Tripo 2.0 的生成结果也拥有领先的质量和保真度,在形状和纹理质量、细节表现都树立了新的行业标准(new state-of-the-art)。 Tripo 不仅能生成高度细致和准确的 3D 形状,捕捉复杂的特征和几何结构,还能生成高保真度的 PBR(基于物理的渲染)材质,呈现出精细的表面属性和逼真丰富的视觉效果。

以上效果由 www.tripo3d.ai 直出

验证 3D 生成的 Scaling Law

VAST 算法团队始终在找寻 3D 生成领域的 tokenizer,验证 3D 生成领域的 Scaling Law。

Tripo 2.0 采用了融合 DiT 和 U-Net 模型的复杂混合架构。 这种融合充分发挥了两种架构的优势,一方面 DiT 擅长捕捉 3D 结构中的全局上下文和长距离依赖关系,另一方面 U-Net 精于保留精细的细节和局部特征。同时利用海量高质量 3D 数据,辅以多种合成数据扩展技术,这种设计不仅显著提高了生成模型的质量,还增强了模型的鲁棒性、稳健性和泛化能力。 工程优化方面,团队通过蒸馏提高效率:同时采用了 guidance distillation 和 step distillation,在不牺牲质量的前提下大幅优化了性能(更多算法内容请持续关注 VAST AI 后续的算法技术报告)。 在一年多的探索中,算法团队不断探索模型规模与性能关系,Tripo 2.0 证实了随着模型参数的增加和训练数据量的扩大,生成质量呈现出可预测的提升。通过对单个物体的深入理解,Tripo 2.0 不断展示从微观到宏观的推理能力,这种“见微知著”的能力是构建复杂 3D 世界的基石。

让每个人成为超级创作者

Tripo 2.0 能够完成 10 秒生成几何形状,10 秒生成纹理及 PBR 材质。这意味着 Tripo 不仅能在 3D 工业生产管线里降本增效,也为实时创作更多 3D 内容和玩法提供未来的可能性。 VAST 的创始人兼 CEO 宋亚宸表示:“目前我们有自信地对外宣布 VAST 和 Tripo 2.0 在效果上已经达到了 Midjourney V4 的阶段。这意味着用户使用体验的跃升和巨大的商业化潜力。感谢多方资本对 VAST 的青睐,让我们能够对未来的 3D 生态持续探索。 技术方面,我们会持续追寻 3D 生成式 AI 的 Scaling Law,研究模型规模、数据量和生成质量之间关系的基本原理,寻找数据、表征和模型架构的可扩展范式, 致力于推动 3D 生成式 AI 的边界。也会不断探索更整体的(Holistic)3D 生成,**不仅包括单个资产和道具、角色的生成,也包含(动态)环境、运动、物理等的探索。3D 生成作为大模型领域的前沿新兴分支,在游戏动画影视、3D 打印、互联网及工业产品设计、具身智能、仿真模拟、MR、教育、空间智能等领域的 2B 及 2C 应用展示出前所未有的想象力。**我们相信通过更大众级别的 3D 创作者工具和全民的 3D 内容平台,能够打造出⼀个全新和繁荣的生成式 3D 生态。” 参赞生命力

你觉得什么是生命力?

生命力是自由的创造,是自我意识的展现。

—— 宋亚宸,VAST 创始人& CEO