第5章 三维全景技术 CHAPTER5 三维全景技术是近年来迅速发展并逐渐流行的一个虚拟现实分支。三维全景技术是一种 桌面虚拟现实技术,并不是真正意义上的3D技术。三维全景技术具有以下几个特点。 (1)属于实地拍摄,有照片的真实感,是真实场景的三维展现。 (2)具有一定的交互性,用户可以通过鼠标控制视觉方向,还可以任意放大和缩小,如亲临 现场般环视、俯瞰和仰视。 (3)浏览漫游不需要单独下载插件,并且全景图片文件采用先进的图像压缩与还原算法,文 件较小,利于网络传输。 (4)无须采用专业设备进行拍摄制作,适用于各种层次的用户。 5.三维全景概述 1 视频5- 1 三 维全景技术三维全景技术是一种运用数码相机对现有场景进行多角度环视拍摄后,利用计算机进行后 期缝合,并加载播放程序来完成展示的一种三维虚拟技术。 1.三维全景的概念 5.1 1.三维全景 全景图(又称为全景照片或全景Panorama)是指大于人的双眼正常有效视角(大约水平90°, 垂直70°)或包括双眼余光视角(大约水平180,(°) 垂直90°)以上,乃至360°完整场景范围拍摄的 照片。 三维全景(Thre-dimensionalPanorama)是基于全景图的真实场景虚拟现实技术,是把相机 环绕360°拍摄的一组或多组照片拼接成一个全景图像,通过计算机技术实现全方位、互动式观 看的真实场景还原展示,并具有较强的互动性,能用鼠标控制环视的方向,使人有身临其境的 感觉。 根据全景图外在的表现形式,通常可以分为柱形全景、球形全景、立方体全景和物体全景 几类 ( 。 1)柱形全景是最简单的全景,就是通常所说的“环视”。在柱形全景中,可以环水平360°观 看四周的景色,但在用鼠标上下拖动时,上下的视野将受到限制,上看不到天,下看不到地。 (2)球形全景可以达到水平360°,上下180°的效果。在观察球形全景时,观察者位于球的中 心,通过鼠标、键盘的操作可以观察任何一个角度。 (3)立方体全景是由前、后、左、右、上、下6张照片拼接而成的。相机位于立方体的中心,也 是全视角。目前拍摄的方式有两种:一种是用常规片幅相机以接片的形式将拍摄对象及其周围 所有场景都拍摄下来,展示时须将照片逐幅拼接起来,形成空心球形,画面朝内,然后观赏者在 球内观看;另一种则利用鱼眼镜头或常规镜头拍摄,然后利用专用软件拼接合成,这种形式所形 成的影像只能借助计算机来观赏、演示。这两种拍摄手法均称为内球球形全景。 (4)物体全景是在拍摄时围绕拍摄对象进行等距的多维旋转拍摄,直至将整个球体拍摄完 成。展示时,将图片逐一拼接起来形成球形,画面朝外观看,这种拍摄手法称为外球球形全景。 物体全景主要面向电子商务,与风景全景的主要区别是:物体全景的观察者在物体的(外面)周 围。物体全景广泛应用于商品和玩具展示、文物观赏、艺术和工艺品展示等。 2. 全景视频 全景视频是一种用3D 摄像机进行360°拍摄的视频,用户在观看视频时,可以随意调节视频 进行观看。 全景视频让人有一种身临其境的感觉,且不受时间、空间和地域的限制。全景视频不再是 单一的静态全景图形式,而是具有景深、动态图像、声音等,同时还具备声画对位、声画同步,表 现效果是全景图望尘莫及的。全景视频与全景图相比,有了质、量、形式和内容的巨大飞跃。 1.三维全景应用领域 5.2 三维全景具有广阔的应用领域,既弥补了效果图角度单一的缺憾,又比三维动画经济实用。 三维全景的主要应用领域如下。 (1)旅游景点虚拟导览展示。结合景区游览图导览,三维全景可以让观众自由穿梭于各景 点之间,是旅游景区、旅游产品宣传推广的最佳方法。 (2)酒店网上三维全景虚拟展示应用。利用网络远程虚拟浏览宾馆的外形、大厅、客房、会 议厅等各项服务场所,展现宾馆环境,便于客户进一步了解酒店。 (3)房地产三维全景虚拟展示,装修样板展示应用。房产开发销售公司可以利用三维全景 技术展示楼盘的外观,房屋的结构、布局和室内设计,购房者通过网络即可查看房屋的各方面。 (4)企业展示宣传和娱乐休闲场所三维全景虚拟展示应用。 (5)汽车三维全景虚拟展示应用。通过三维全景技术展现汽车内饰、局部细节和汽车外观, 让更多的人实现轻松看车、买车,使汽车销售更轻松高效。 (6)博物馆、展览馆、剧院、特色场馆三维全景虚拟展示应用。 (7)虚拟校园三维全景虚拟展示应用。 (8)城市街景、小区环境虚拟展示应用。 5.全景照片的拍摄硬件 2 全景照片及视频的拍摄设备包括相机、摄像机镜头、无人机等,辅助设备包括全景云台、三 脚架及其他配件等,本节将对相关设备进行介绍。 2.三维全景制作的常见硬件 5.1 全景摄影使用的相机、三脚架与一般摄影没有太大的区别。从实现全景摄影的功能来说, 所有相机、家用DC,甚至手机,都能进行全景摄影。但最为方便且效果又好的就是采用鱼眼镜 头或广角镜头加单反相机拍摄。因此,全景摄影采用的设备通常有数码相机、鱼眼镜头或广角 镜头、全景云台和三脚架,如图5-1所示。 图5- 1 数码相机、鱼眼镜头和全景云台 鱼眼镜头是一种特殊的超广角镜头,焦距一般为6~16mm 。鱼眼镜头极短的焦距和特殊的 结构使其具有接近180°,甚至超过180°的广阔视角。 广角镜头,特别是焦距小于20mm 的超广角镜头,也是全景摄影中常用的镜头。相对于鱼 眼镜头,广角镜头没有那么严重的透视变形,水平视角也小于鱼眼镜头,但成像质量好,拼接出 的全景图片分辨率较高,更适合对影像质量要求较高的全景摄影。 鱼眼镜头一般只需要拍摄4~6 张照片,再使用全景拼合软件拼接即可实现三维全景,如 图5-2所示。其他镜头视角不够广,需要多拍几张甚至几十张照片才能实现三维全景。重点是相 机参数调好后要保持不变,并固定在一个点拍摄,在水平视角360°拍摄一周,且每张照片要有 25% 以上的重合,然后下俯45°拍摄和上仰45°拍摄,最后补天、补地各拍摄一张。 图5- 2 单反相机+鱼眼镜头全景拼合仅需要拍摄4~6张照片 全景摄影必须使用三脚架,手持相机进行全景摄影拍出的全景摄影作品质量不高。另外, 全景摄影最好使用专用的全景云台拍摄,快门线和遥控器也是常用的配件。 5.2 VR 全景视频设备 2. 1. 光场摄像机 要拍摄真正意义上的VR 视频,就需要光场摄像机,如Lytro公司的Immerge,如图5-3 所示。 图5- 3 Lytro公司的专业光场摄像机 光场摄像机的工作原理是通过矩阵式摄像头(非常多的微型摄像头)捕捉和记录周围不同 角度射入的光线信号,再利用计算机合成出任意位置的图像,如图5-4所示。 图5- 4 Immerge光场摄像机工作示意 光场摄像机Immerge的数百个镜头和图像传感器分为5个“层”(每层都由20 部GoPro相 机组合在一起), 除此之外,还配套专用的服务器(图5-5)和编辑工具等。 图5- 5 Immerge光场摄像机配套服务器 与传统摄像机不同的是,光场摄像机除了记录色彩和光线强度信息外,还会通过摄像机的 感光矩阵(图5-6)记录光线的射入方向,这就是“光场”技术的由来。 图5- 6 Immerge光场摄像机感光矩阵 2. 电影级的全景拍摄装备 电影级摄像机除了分辨率、色彩等参数指标非常优秀以外,还配备有大尺寸的感光元件 (CCD/CMOS), 具有高感、低噪(高宽容度)等特性,此外还必须能够拍摄高帧率视频(甚至超过 1000 帧/秒), 输出RAW 格式,并满足长时间、苛刻环境拍摄等一系列要求。常见的摄像机有 RED 的ONE 系列(图5-7)、ARRI 的Alexa系列,以及SONY 的F系列摄像机等。 图5- 7 RED 的ONE 系列全景摄像机 将体积巨大、使用复杂的专业摄像机小型化,并集成在一个“球/盒子”里,即可形成360°全 景摄像机。下面介绍相关的全景摄像机方案或摄像机。 1)HypeVR 摄像机方案 Hype采用将14 台REDDgon拼合的方式实现了电影级VR 设备的方案,如图5-8所示。 RedDragon单机的最高分辨率是(r) 6(a) K,最终视频拼接完成后的分辨率可以达到16K@90fps,文件 格式为3D 格式。 HypyVR 摄像机方案还配备了Velodyne公司的激光雷达扫描仪(图5-8右上角的银色器 件), 该扫描仪在开机后会快速自旋以反馈摄像机集群与周围物体的距离。 Vldye激光雷达扫描仪能够捕捉三维深度信息,利用深度信息,HypeVR 的深度信息处理系统((o) (e) 后期处(n) 理)可以让观众拉近或拉远与主体(如赛场)之间的距离,提供一定范围内的自由 移动。与前面提到的光场摄像机类似,这是目前最接近真正VR 效果的摄像机方案。 2)NextVR 摄像机方案 与HypeVR 摄像机方案类似,NextVR 摄像机方案采用将6台REDDragon拼合的方案,有 图5- 8 HypyVR 摄像机方案 3个方位,每个方位安放两台,支持3D 功能,如图5-9所示。虽然只有6台摄像机,但还配备了 佳能8~15mmf/4L 鱼眼镜头和REDPro监视器等。 图5- 9 NextVR 摄像机方案 3)HeadcaseVR 摄像机方案 HeadcaseVR 摄像机方案主要采用17 目CdxAtin摄像机,如图5-10 所示。Codex摄像 机有12bitRAW 的记录体系和13.,(e) 3(o) 英寸的CCD 传感器,单相机分辨率为 1920×1080,最高为60fps。5挡的高动态(o) 采用2/(c) 图5-10 HeadcaseVR 摄像机方案 Codex摄像机镜头的优势是尺寸较小,只有45mm×42mm×53mm,同时配备专业的采集设 备进行实现录制。HeadcaseVR 摄像机方案定制了适合移动VR 视频拍摄的移动设备,这台移 动设备可解决VR 视频拍摄中由移动产生的位移偏差及抖动问题。 4)强氧科技VR 摄像机方案 强氧科技第二代VR 摄像机方案由10 台DiftGht-S拼接而成,上两台,下两台,中间6 台,如图5-11所示。强氧科技VR摄像机方案具有(r) 4K分(o) 辨(s) 率,支持30fps节目录制及输出,并 且能够无限连续录制。 图5-11 强氧科技VR 摄像机方案 强氧科技第三代VR 摄像机方案采用基于奥林巴斯M4/3成像系统的4K 相机,针对不同的 应用场景采用三目、九目及3D 三款不同形式的摄影机,并搭配4K@60fps实时VR 全景缝合工 作站,如图5-12 所示。 图5-12 强氧科技全景缝合工作站 强氧科技还有一款能够直播与记录360°全景视频的摄影机———ArgusPro。该摄像机拥有 4K60P 直播、8K30P 记录(后期)的广播级色彩质量,具备全光纤信号传输功能,是大型活动、演 唱会、体育比赛全景直播的利器。 5)极图科技直/录一体化摄像机UpanoXONE 极图科技的直/录一体化摄像机UpanoXONE 如图5-13 所示。UpanoXONE 不仅可以拍 摄6K 分辨率的高质量360°3D 视频,还具有芯片级机内实时拼接、一键无线VR 直播、VR 眼镜 实时监看等功能,被广泛应用在影视、旅游、教育、体育等行业。 图5-13 极图科技直/录一体化摄像机UpanoXONE 3 VR 全景漫游的制作 5. 视频5- 2 三 VR 全景漫游不是真正的VR,而是三维全景技术的应用,即360°(或称720°)照片。这些照维全景漫游 片并不是虚拟合成的,而是真实的影像资料的拼接,拼接的画面有时会有一定程度的弯折或制作流程 断裂。下 面介绍VR 全景漫游的制作过程。 视频5- 3 操 5.3.1 制作流程作案例 1PTGui拼接 VR 全景漫游的制作步骤是素材拍摄—导入修图—全景图拼接—设置交互热点,这样即可照片 生成VR 全景漫游作品。 1. 素材拍摄 全景图像素材用相机、手机均可拍摄,根据拍摄镜头、辅助设备和拍摄地点的不同,拍摄照 片的数量和要求等也不相同。视频5- 4 操 作案例2使 1)拍摄照片数量用Pano2VR 在拍摄距离不变的情况下,拍摄VR 全景所使用的镜头视角越大,拍摄的张数越少。编辑全景图 如果使用手机拍摄,手机镜头的等效焦距为28 毫米,对应的视角是75°。想要将360°×180° 的画面记录完整,且还要保证相邻两张照片有25% 的重合,记录横轴方向一圈就至少需要镜头 每旋转36°就记录一张照片,合计记录10 张照片。竖边的视场角为60°,需要上仰45°、水平0°、视频5- 5 操 下俯45°拍摄3圈,每圈旋转36°就拍摄一张照片,每圈共拍摄10 张照片,还需要进行垂直补天和作案例3使 用Pano2VR 补地拍摄,合计需要拍摄3圈,共30 张照片+补天两张照片+补地两张照片=34 张照片,才能设置交互操 拼合成一个完整的VR 全景图。作 使用24 毫米半画幅相机并安装18 毫米镜头进行拍摄,通常需要水平、斜上(上仰45°、斜下 拍(下俯45°)拍摄3圈,共30 张照片+上仰90°垂直拍摄两张照片+垂直向下拍摄一张照片+补 地拍摄一张照片=34 张照片。视频5- 6 操 如果使用15 毫米鱼眼镜头拍摄,则只需水平方向每间隔60°拍摄一张照片,顺时针旋转一作案例4VR 漫游制作 圈拍摄6张照片,即可获得水平方向360°的影像;再上仰90°垂直拍摄两张照片,垂直向下拍摄 一张照片+补地拍摄一张照片,共计10 张照片。 使用不同焦距的镜头拍摄VR 全景照片对应的拍摄张数见表5-1。 114 表5- 1 使用不同焦距的镜头拍摄VR 全景照片对应的拍摄张数 镜头类型360°需要拍摄张数/张每张拍摄转动角度/度 8毫米鱼眼镜头4 90 12 毫米鱼眼镜头5 72 14 毫米鱼眼镜头6 60 15 毫米鱼眼镜头6 60 16 毫米鱼眼镜头6(一圈) 60 18 毫米鱼眼镜头8+8+8(三圈) 45 24 毫米直线镜头10+10+10(三圈) 36 2)拍摄方式 (1)手持拍摄设备拍摄全景照片时,要确保站在同一个点;当转身拍每张照片时,要让照相 机非常靠近身体。拍摄时要竭力去模仿有三脚架的环境,尽量把照相机端平端稳,绕着一个点 旋转。拍摄的张数可以在表5-1的数值基础上适当多拍摄1~2张,提高重合度以便拼接。 (2)使用普通三脚架(无全景云台)拍摄全景照片时,要保持在一个水平面上旋转照相机,建 议用一个水准器检测,尽可能地让三脚架的顶部保持水平。室内的拍摄高度一般为人站立后的 眼睛高度(相机镜头与摄影师的眼睛齐平即可)。但根据场景的不同,机位也要相应地调整。一 般说来,开阔的地方建议机位高一些,空间狭小的地方建议机位低一些。旋转拍摄时,注意观察 取景框中的参照物,保证每张照片与前一张照片具有一定的重合区域。 (3)使用三脚架+全景云台拍摄全景照片时,首先要进行全景云台的调节和设置。通过全 景云台的分度台进行定位,分度台一般具有多个挡位,如5°、11.°、°、°、°、°、°、°、° 518303645607290 等。调节完全景云台以后,按照使用普通三脚架的拍摄注意事项进行拍摄即可。 3)补地拍摄 在向下倾斜拍摄和垂直拍摄时,镜头可能会记录下带有三脚架或全景云台的画面,这时VR 全景的地面就被三脚架和全景云台遮挡了,需要通过一些方法将被三脚架和全景云台遮挡的画 面记录下来,便于后期拼接时进行修补。这是全景拍摄中的难点和重点。 补地拍摄通常有外翻补地和手持补地等方法。 (1)外翻补地拍摄是指利用三脚架和全景云台进行外翻补地拍摄,适用于无明显影子的室 内场景或阴天的室外场景,拍摄质量相对较高。外翻补地拍摄时,通常在三脚架的中心位置放 置一个标志物,如镜头盖,以便使三脚架平移后相机对准原来的中心位置,如图5-14 所示。三脚 架平移操作通常分别向左、向右各平移一次,拍摄两张补地图像。 (2)手持补地适用于户外地面无反光的情况和快速拍摄的场景。取下相机,挪开三脚架,在 保证画面完整的情况下垂直向下拍摄,尽可能最少地记录被自己遮挡的画面,手持位置尽量与 正常拍摄节点位置重合。操作方式如图5-15 所示。 如果没有进行补地拍摄,也可以通过后期制作工具中的补地遮罩进行遮挡,或使用 Photoshop软件中的工具(智能填充、仿制印章等)制作、修补地面,或将地面进行视角锁定,或用 LOGO 图标覆盖等。 4)拍摄注意事项 全景图的拍摄看似简单,只需要转动相机拍摄场景里的不同区域就可以了,但如果拍摄时 图5-14 外翻补地拍摄示意图图5-15 手持补地正确姿势 不注意一些细节,照片很有可能在后期无法拼接起来。 (1)照片的重合度。相邻的照片之间应该有不少于25%的重合,这样后期软件才能正确地 把两张照片合并起来。对于一些难度较大的场景接片(如银河、大海、拱桥等场景接片),则需要 50%左右的重合度。 当然,重合度也不是越高越好,过高的重合度(超过66%)反而会造成软件难以识别两张图 片的差别,造成融合失败。 两张照片的重叠处最好不要有运动的物体,如车、人、云等,或变形非常明显的物体,如畸变 的建筑,以免后期拼接困难。 (2)视差(paralax)。视差是很多全景接片融合失败的罪魁祸首。视差是指从有一定距离 的两个点上观察同一个目标所产生的方向差异。例如,只睁开一只眼睛,然后伸出一根手指,让 手指正好遮住远处的一个物体,如图5-16所示的茶壶。转动脖子后再看茶壶,会发现原来和手 指在一条直线上的茶壶竟然发生了偏移,也就是物体间的相对位置发生了变化,这种现象就叫 作视差。 图5-16 视差示意图