CVPR2023|三维场景生成：无需任何神经网络训练，从单个样例生成多样结果-电子工程专辑

link管理

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

年轻有为的茄子 · 广州谋划建设高速磁悬浮通道 ...· 2 月前 ·

绅士的熊猫 · 原型方法，没有 __proto__ 的对象· 3 月前 ·

求醉的胡萝卜 · 李志鹏-电子与信息工程学院· 5 月前 ·

大方的鼠标 · 如何重置OpenWrt防火墙配置 - ...· 6 月前 ·

一身肌肉的大葱 · 2018中日韩名记者北京崇礼论坛--国际--人民网· 8 月前 ·

点击上方↑↑↑“OpenCV学堂”关注我

来源：公众号机器之心授权

北京大学陈宝权团队联合山东大学和腾讯AI Lab的研究人员，提出了首个基于单样例场景无需训练便可生成多样高质量三维场景的方法。

多样高质的三维场景生成结果

论文地址：https://arxiv.org/abs/2304.12670
项目主页：http://weiyuli.xyz/Sin3DGen/

引言

使用人工智能辅助内容生成（AIGC）在图像生成领域涌现出大量的工作，从早期的变分自编码器（VAE），到生成对抗网络（GAN），再到最近大红大紫的扩散模型（Diffusion Model），模型的生成能力飞速提升。以 Stable Diffusion，Midjourney 等为代表的模型在生成具有高真实感图像方面取得了前所未有的成果。同时，在视频生成领域，最近也涌现出很多优秀的工作，如 Runway 公司的生成模型能够生成充满想象力的视频片段。这些应用极大降低了内容创作门槛，使得每个人都可以轻易地将自己天马行空的想法变为现实。

但是随着承载内容的媒介越来越丰富，人们渐渐不满足于图文、视频这些二维的图形图像内容。随着交互式电子游戏技术的不断发展，特别是虚拟和增强现实等应用的逐步成熟，人们越来越希望能身临其境地从三维视角与场景和物体进行互动，这带来了对三维内容生成的更大诉求。

如何快速地生成高质量且具有精细几何结构和高度真实感外观的三维内容，一直以来是计算机图形学社区研究者们重点探索的问题。通过计算机智能地进行三维内容生成，在实际生产应用中可以辅助游戏、影视制作中重要数字资产的生产，极大地减少了美术制作人员的开发时间，大幅地降低资产获取成本，并缩短整体的制作周期，也为用户带来千人千面的个性化视觉体验提供了技术可能。而对于普通用户来说，快速便捷的三维内容创作工具的出现，结合如桌面级三维打印机等应用，未来将为普通消费者的文娱生活带来更加无限的想象空间。

目前，虽然普通用户可以通过便携式相机等设备轻松地创建图像和视频等二维内容，甚至可以对三维场景进行建模扫描，但总体来说，高质量三维内容的创作往往需要有经验的专业人员使用如 3ds Max、Maya、Blender 等软件手动建模和渲染，但这些有很高的学习成本和陡峭的成长曲线。

其中一大主要原因是，三维内容的表达十分复杂，如几何模型、纹理贴图或者角色骨骼动画等。即使就几何表达而言，就可以有点云、体素和网格等多种形式。三维表达的复杂性极大地限制了后续数据采集和算法设计。

另一方面，三维数据天然具有稀缺性，数据获取的成本高昂，往往需要昂贵的设备和复杂的采集流程，且难以大量收集某种统一格式的三维数据。这使得大多数数据驱动的深度生成模型难有用武之地。

在算法层面，如何将收集到的三维数据送入计算模型，也是难以解决的问题。三维数据处理的算力开销，要比二维数据有着指数级的增长。暴力地将二维生成算法拓展到三维，即使是最先进的并行计算处理器也难以在可接受的时间内进行处理。

上述原因导致了当前三维内容生成的工作大多只局限于某一特定类别或者只能生成较低分辨率的内容，难以应用于真实的生产流程中。

为了解决上述问题， 北京大学陈宝权团队联合山东大学和腾讯 AI Lab 的研究人员，提出了首个基于单样例场景无需训练便可生成多样高质量三维场景的方法 。该算法具有如下优点：

1，无需大规模的同类训练数据和长时间的训练，仅使用单个样本便可快速生成高质量三维场景；

2，使用了基于神经辐射场的 Plenoxels 作为三维表达，场景具有高真实感外观，能渲染出照片般真实的多视角图片。生成的场景也完美的保留了样本中的所有特征，如水面的反光随视角变化的效果等；

3，支持多种应用制作场景，如三维场景的编辑、尺寸重定向、场景结构类比和更换场景外观等。

方法介绍

研究人员提出了一种多尺度的渐进式生成框架，如下图所示。算法核心思想是将样本场景拆散为多个块，通过引入高斯噪声，然后以类似拼积木的方式将其重新组合成类似的新场景。

作者使用坐标映射场这种和样本异构的表达来表示生成的场景，使得高质量的生成变得可行。为了让算法的优化过程更加鲁棒，该研究还提出了一种基于值和坐标混合的优化方法。同时，为了解决三维计算的大量资源消耗问题，该研究使用了精确到近似的优化策略，使得能在没有任何训练的情况下，在分钟级的时间生成高质量的新场景。更多的技术细节请参考原始论文。

随机场景生成