英特尔研究院发布全新AI扩散模型,可根据文本提示生成360度全景图
发布时间:2023-06-22 10:07 来源:IT之家 阅读量:7674
,英特尔研究院今日宣布与 Blockade Labs 合作发布 LDM3D模型,这一全新的扩散模型使用生成式 AI 创建 3D 视觉内容。
据介绍,LDM3D 是业界领先的利用扩散过程生成深度图(depth map)的模型,进而生成逼真的、沉浸式的 360 度全景图。LDM3D 有望革新内容创作、元宇宙应用和数字体验,改变包括娱乐、游戏、建筑和设计在内的许多行业。
英特尔表示,LDM3D 是在 LAION-400M 数据集包含一万个样本的子集上训练而成的。LAION-400M 是一个大型图文数据集,包含超过 4 亿个图文对。对训练语料库进行标注时,研究团队使用了之前由英特尔研究院开发的稠密深度估计模型 DPT-Large,为图像中的每个像素提供了高度准确的相对深度。LAION-400M 数据集是基于研究用途创建而成的,以便广大研究人员和其它兴趣社群能在更大规模上测试模型训练。
LDM3D 模型在一台英特尔 AI 超级计算机上完成了训练,该超级计算机由英特尔至强处理器和英特尔 Habana GaudiAI 加速器驱动。最终的模型和流程整合了 RGB 图像和深度图,生成 360 度全景图,实现了沉浸式体验。