微信公众号
手机端
搜索
近日，韩国科学技术院（KAIST）与Google DeepMind研究人员联合提出4D新视角合成模型FL4N，能够根据单目视频重建动态场景，并实时渲染不同视角及时间点的画面。目前，相关论文已发布至arXiv，项目代码及模型权重同步开源。
据了解，传统3D重建主要针对静态场景，而4D重建需要进一步捕捉物体随时间发生的运动变化。现有部分方法依赖4D Gaussian等显式表示，在处理复杂运动场景时，容易出现画面重影、物体边缘伪影及时间一致性不足等问题。
针对上述挑战，FL4N采用前馈式潜在空间建模方法，将场景的空间结构与时间变化编码至统一的潜在表示中。该模型基于预训练静态场景模型，引入轻量级动态编码器，通过时间残差学习物体运动及场景变化，减少对复杂三维运动标注的依赖。
在技术实现上，FL4N利用静态场景特征辅助动态建模，区分物体自身运动与相机移动造成的视差，并支持独立调整观察视角和场景时间，实现动态画面的连续合成。
实验方面，研究团队在NVIDIA Dynamic Scenes、N3DV及Kubric4D等数据集上进行了测试。论文显示，FL4N在多项图像质量指标上优于所比较的4D Gaussian方法，并具备实时新视角渲染能力，有望应用于XR内容制作、沉浸式视频及动态数字孪生等领域。
来源：FL4N官方项目主页
投稿/爆料：tougao@youxituoluo.com
稿件/商务合作： 林南（微信 19250561593）
加入行业交流群：林南（微信 19250561593）
元宇宙数字产业服务平台
下载「陀螺科技」APP，获取前沿深度元宇宙讯息
