麻辣GIS微信平台

更多 GIS 干货

微信关注不错过

一张照片秒变三维场景?ml-sharp这个开源工具火了...

近几年,数字博物馆、数字文保、数字景区等应用早已在网络上屡见不鲜。它们背后的三维重建技术凭借酷炫的表现力让人眼前一亮 —— 只需一块屏幕,便能带来身临其境的沉浸式体验。如今,这种沉浸式虚拟体验已渗透到各行各业,例如爆火的《黑神话:悟空》中,小西天场景便以山西临汾隰县千佛庵为原型进行采集重建;《刺客信条:大革命》也曾通过三维技术还原巴黎圣母院的恢弘风貌,让虚拟与现实实现了精彩联动。

上图:山西临汾隰县千佛庵

小编每次看到这种应用都会想如果自己也能亲手创造一个三维场景就好了,但传统的三维重建技术有着典型的“采集成本高、重建流程复杂”问题,无论软、硬件都需要很高的成本投入,普通用户还是难以承担。

高斯泼溅技术

高斯泼溅(3DGS)是 2023 年兴起的 3D 重建技术,是目前三维重建的重要革新方向。通过高斯泼溅技术生成的三维场景兼具照片级真实感与实时渲染能力,适配文物保护、数字孪生等高精度应用。高斯泼溅技术的主要优势是高效、细节还原佳,无需拓扑建模;但数据量大、依赖高性能 GPU,动态场景处理弱,生态兼容性也待完善。

最近Apple开源了一款高斯泼溅模型 ml-sharp,可以在几秒就能把普通照片转成 3D 场景!刚刚看到小编是不相信的,于是下载体验了一下,总体上效果还是非常赞,有兴趣的小伙伴可以下载下来体验一下。

官网:https://github.com/apple/ml-sharp

PS:这是小编目前接触过的安装最简单的机器学习模型了,前后不到10分钟搞定。

ml-sharp 安装

ml-sharp的安装非常简单,只需要三步即可。

克隆ml-sharp仓库

使用git克隆下ml-sharp仓库。

git clone https://github.com/apple/ml-sharp.git
cd ml-sharp

创建conda环境

再使用conda创建一个环境。

conda create -n sharp python=3.13
conda activate sharp

PS: 关于 conda 的工作流,可以参考之前的文章《「GIS教程」Conda基础使用工作流

安装依赖包

pip install -r requirements.txt

最后使用如下命令验证下是否安装成功。

sharp --help

运行成功后,会看到如下信息,表示安装成功。

效果实测

安装完成之后使用如下命令将照片转换成高斯泼贱格式模型。

sharp predict -i /path/to/input/images -o /path/to/output/

可能小编的电脑配置相对不高,并没有官方说的那么快,但30秒之内基本可以完成。下面是小编的几张测试图,首先是武汉黄鹤楼的一个场景。

原图:

模型转换后(使用Blender打开):

另外是黄石1907的一个场景

原图:

模型转换后(使用Blender打开):

总结

总的来效果虽然还不错,但跟专业的点云等技术比起来还是相差很多,目前能实现的只是简单的让图片看起来有立体感,部分重建的细节会有失真。但不得不说 ml-sharp 的核心优势进一步降低了三维技术的应用门槛

其一,高效率(秒级完成单图到 3D 场景的生成),大幅缩短三维内容的制作周期;
其二,低门槛(无需专业三维建模能力,通过简单命令行即可操作),让非技术背景的从业者也能快速上手;
其三,跨平台兼容性(支持 CPU、CUDA、MPS 等计算环境,3DGS 文件兼容主流渲染器),适配不同场景的部署需求。

这些特性让三维技术从 “专业级应用” 走向 “普惠化落地”,从 “高成本、重流程” 的传统三维制作模式转向 “轻量化、高效率、高保真” 的重建模式。相信未来在数字文保(文物 / 古建筑高精度建档)、数字孪生(城市 / 园区建模)、游戏影视(高保真场景资产生成)、文旅体验(沉浸式数字景区)、VR/AR 交互、工业设计(产品三维展示)等场景中会有更多进一步应用。

相关阅读

麻辣GIS-Sailor

作者:

GIS爱好者,学GIS,更爱玩GIS。

声明

1.本文所分享的所有需要用户下载使用的内容(包括但不限于软件、数据、图片)来自于网络或者麻辣GIS粉丝自行分享,版权归该下载资源的合法拥有者所有,如有侵权请第一时间联系本站删除。

2.下载内容仅限个人学习使用,请切勿用作商用等其他用途,否则后果自负。

手机阅读
公众号关注
知识星球
手机阅读
麻辣GIS微信公众号关注
最新GIS干货
关注麻辣GIS知识星球
私享圈子

留言板(小编看到第一时间回复)