车载360全景拼接算法(5篇)
车载全景拼接算法
文件夹
车载360全景拼接算法(5篇)
范文为教学中作为模范的文章，也常常用来指写作的模板。常常用于文秘写作的参考，也可以作为演讲材料编写前的参考。那么我们该如何写一篇较为完美的范文呢？以下是我为大家搜集的优质范文，仅供参考，一起来看看吧
车载360全景拼接算法篇一
一、360全景展示简介
360全景就是视角超过人的正常视角的图像，而我们这里说的全景特指水平视角360度，垂直视角180度的图像。全景实际上只是一种对周围景象以某种几何关系进行映射生成的平面图片，只有通过全景播放器的矫正处理才能成为三维全景。360全景顾名思义就是给人以三维立体感觉的实景360度全方位图像，此图像最大的三个特点是：
1、全：全方位，全面的展示了360度球型范围内的所有景致；可在例子中用鼠标左键按住拖动，观看场景的各个方向；
2、景：实景，真实的场景，三维全景大多是在照片基础之上拼合得到的图像，最大限度的保留了场景的真实性；
3、360：360度环视的效果，虽然照片都是平面的，但是通过软件处理之后得到的360全景，却能给人以三维立体的空间感觉，使观者犹如身在其中。360全景技术的优势
全景技术是目前全球范围内迅速发展并逐步流行的一种视觉新技术。它给人们带来全新的真实现场感和交互式的感受。它可广泛应用于三维电子商务，如在线的房地产楼盘展示、虚拟旅游、虚拟教育等领域。我们采用鱼眼镜头拍摄的照片视角可达到180度, 在1米的距离以上，景深可达无限远；可使被摄体在画面中显示出非常鲜明的纵深效果，再利用软件专业合成处理，发布为3d全景文件，所显示场景即为真实场景,与传统的虚拟现实相比更具真实感, 更为经济;控制面板工具条,使普通用户操作更为简便。三维全景图像源自对真实场景的摄影捕捉，真实感强烈。我们运用专业的拍摄器材和专业的摄影技术，可以把现场给人的整体印象和每个环境的细节全面的记录下来。所以，制作出的三维全景才会非常的生动和真实。
信息传播面广
1）大众化电脑均能作为播放终端。
2）任何普通的家用电脑均可流畅浏览观看,无需专门工作站。
3）对于网络推广没有任何技术阻碍。
浏览更透彻的高清晰度全屏模式
如何达到最佳的展示效果，我们认为临场感（置身现场的感觉）直接影响到观众的兴趣、注意力、参与度、接受信息程度，所以我们致力于打造亲临现场的临场效果。一般在网络上只能看到小尺寸的vr场景，我们不但解决了宽频尺寸的限制，更特别的是可以任意放大看到更多的细节，追求更好的重现临场的感受。现在经过不断的开发改良，我们在保证播放速度和窗口大小的条件下，比同行所提供的图片具有更高的清晰度和分辨率。窗口更可最大达到1024×768（全屏）。在360 度的全屏模式下观看，就像把真实的场景搬到了客户面前。
二、360全景应用领域
●房产三维全景虚拟展示应用房产开发销售公司可以利用虚拟全景浏览技术，展示楼盘的外观，房屋的结构，布局，室内设计，置于网络终端，购房者在家中通过网络即可仔细查看房屋的各个方面，提高潜在客户购买欲望。可以将虚拟全景制作成多媒体光盘赠送给看房者，带回家与更多的人分享，增加客户忠诚度，做更精准有效的传播；可以制作成触摸屏或者大屏幕现场演示，给购房者提供方便，节省交易时间和成本；在房交会现场用全景展示更能技高一筹先声夺人；如果是多期开发，将已有的成品小区做成全景漫游，对于开发者而言是对已有产品一种数字化整理归档，对于消费者而言，可以增加信任感，促进后期购买欲望。——高性价比的房产广告宣传新选择的！
●旅游景点虚拟导览展示高清晰度全景三维展示景区的优美环境，给观众一个身临其景的体验，结合景区游览图导览，可以让观众自由穿梭于各景点之间，是旅游景区、旅游产品宣传推广的最佳创新手法。虚拟导览展示可以用来制作风景区的介绍光盘，名片光盘，旅游纪念品等。
●酒店网上三维全景虚拟展示应用在互联网订房已经普及的时代，在网站上用全景展示酒店宾馆的各种餐饮和住宿设施，是吸引顾客的好办法。利用网络，远程虚拟浏览宾馆的外型，大厅，客房，会议厅等各项服务场所，展现宾馆舒适的环境，给客户以实在感受，促进客户预定客房。在酒店大堂提供客房的全景展示，再也不用麻烦客户在各个房间会场穿梭，就能观看各房间的真实场景，更方便客户确认和挑选客房。进而提高效率，用户体验更胜一筹。
●公司企业展示宣传公司企业招商引资、业务洽谈、人才交流等时机场合采用全景展示能宣传企业公司的环境和规模；洽谈对象、客户不是简单地通
过零碎照片或效果图做出决定，也不需要逐行逐字地研究企业公司的宣传文字，新奇的全景展示更加彰显公司的实力和魅力。
●商业展示空间展示宣传有了三维全景虚拟展示，商城、家居建材、公司产品陈列厅，专卖店，旗舰店等相关空间的展示就不再有时间，地点的限制，三维全景虚拟使得参观变得更加方便，快捷，点击鼠标就像来到现场一样，大大节省成本，提高效率。
●娱乐休闲空间三维全景虚拟展示应用美容会所、健身会所、咖啡、酒吧、餐饮等环境的展示，借助全新的虚拟展示推广手法，把环境优势清晰的传达给顾客，营造超越竞争对手的有利条件。
●汽车三维全景虚拟展示应用汽车内景的高质量全景展示，展现汽车内饰，和局部细节。汽车外部的全景展示，可以从每个角度观看汽车外观，可以在网上构建不落幕的车展，可以制作多媒体光盘发放给客户，让更多的人实现轻松看车、买车。使汽车销售更轻松有效。
●博物馆、展览馆、剧院、特色场馆三维全景虚拟展示应用 在博物馆方面，传统文字图片往往难以直观的体现馆内众多的信息，文物信息管理并不轻松。通过三维实景技术，可将博物馆内的文物信息全面直观的记录下来，方便文物信息管理。以博物馆建筑或者剧院的平面或三维地图导航，结合全景的导览应用，观众可以自由穿梭于每个场馆之中，只需轻轻点击鼠标即可全方位参观浏览，配以音乐和解说，更加身临其境。结合物体三维全景展示技术，游客不仅可以在科博馆内浏览参观，更可以单独选择其感兴趣的文物（通过实景拍摄，不方便拍摄的可以利用三维模型软件来建模），任意旋转并放大缩小的来近距离欣赏。虚拟导览系统做成光盘，可以作为光盘礼品或宣传品赠送。同时对博物馆加以数字化的保存，也极富收藏价值
●虚拟校园三维全景虚拟展示应用在学校的宣传介绍中，有了三维全景虚拟校园展示，可以实现随时随地的参观优美的校园环境，展示学校的实力，吸引更多得生源。可以发布到网络，也可以做成学校介绍光盘发送。学校领导电子名片光盘：将校园的三维实景照片制作成领导的电子名片光盘，学校领导在与贵宾交换名片时就可以把学校的多媒体宣传介绍交给对方，也提升形象，一举多得。学校多媒体教学应用：三维实景漫游系统，亦可助力于学校教学应用。例
如可对学校各实验室制作全景展示，发布到网络。学生通过网络浏览即可提前直观的了解实验室的位置、布局、实验要求安排等信息。
●政府开发区环境展示 政府开发区投资环境，做成虚拟导览展示，可发布到网上或做成光盘。把开发区装到口袋带到世界各地变成了现实。向客商介绍变得一目了然，说服力强，可信度高。发布到网上，变成24小时不间断的在线展示窗口。
车载360全景拼接算法篇二
全景拼接算法简介
罗海风 2014.12.11
目录
1.概述...................................................................................................................................1 2.主要步骤............................................................................................................................2 2.1.图像获取............................................................................................................................................2 2.2鱼眼图像矫正.....................................................................................................................................2 2.3图片匹配.............................................................................................................................................2 2.4 图片拼接.............................................................................................................................................2 2.5 图像融合.............................................................................................................................................2 2.6 全景图像投射....................................................................................................................................2 3.算法技术点介绍..................................................................................................................3 3.1 图像获取............................................................................................................................................3 3.2鱼眼图像矫正.....................................................................................................................................4 3.3 图片匹配............................................................................................................................................4
3.3.1与特征无关的匹配方式............................................................................................................4 3.3.2根据特征进行匹配的方式........................................................................................................5
3.4图片拼接.............................................................................................................................................5 3.5图像融合.............................................................................................................................................6
3.5.1平均叠加法................................................................................................................................6 3.5.2 线性法........................................................................................................................................7 3.5.3 加权函数法................................................................................................................................7 3.5.4 多段融合法（多分辨率样条）...............................................................................................7
3.6全景图像投射.....................................................................................................................................7
3.6.1 柱面全景图................................................................................................................................7 3.6.2 球面全景图................................................................................................................................7 3.6.3 多面体全景图............................................................................................................................8
4.开源图像算法库opencv拼接模块...................................................................................8 4.1 stitching_detail程序运行流程.....................................................................................................8 4.2 stitching_detail程序接口介绍.....................................................................................................9 4.3 测试效果..........................................................................................................................................10 5.小结.................................................................................................................................10 参考资料.............................................................................................................................10
1.概述
全景视图是指在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览）。
目前市场中的全景摄像机主要分为两种：鱼眼全景摄像机和多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头，并依赖图像校正技术还原图像的鱼眼全景摄像机。鱼眼全景摄像机最终生成的全景图像即使经过校正也依然存在一定程度的失真和不自然。多镜头全景摄像机可以避免鱼眼镜头图像失真的缺点，但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有“附加”感的缺撼。
本文档中根据目前所查找到的资料，对多镜头全景视图拼接算法原理进行简要的介绍。
2.主要步骤
2.1.图像获取
通过相机取得图像。通常需要根据失真较大的鱼眼镜头和失真较小的窄视角镜头决定算法处理方式。单镜头和多镜头相机在算法处理上也会有一定差别。
2.2鱼眼图像矫正
若相机镜头为鱼眼镜头，则图像需要进行特定的畸变展开处理。
2.3图片匹配
根据素材图片中相互重叠的部分估算图片间匹配关系。主要匹配方式分两种： a．与特征无关的匹配方式。最常见的即为相关性匹配。
b．根据特征进行匹配的方式。最常见的即为根据sift，surf等素材图片中局部特征点，匹配相邻图片中的特征点，估算图像间投影变换矩阵。
2.4 图片拼接
根据步骤2.3所得图片相互关系，将相邻图片拼接至一起。
2.5 图像融合
对拼接得到的全景图进行融合处理。
2.6 全景图像投射
将合成后的全景图投射至球面、柱面或立方体上并建立合适的视点，实现全方位的视图浏览。图1:opencv stitching模块进行图像拼接的处理流程
（部分步骤可选）
3.算法技术点介绍
3.1 图像获取 由于鱼眼镜头和常规镜头在生成全景图方面存在很大差异，其校正算法完全不同，因此需分开讨论。但是校正后的图像进行拼接步骤时的处理方法一定程度上可通用。a．单常规镜头拍摄多张图片方式（手持）
该方式很常见，在目前多种手机上均有相关全景功能。b．多个常规镜头组成的相机（或单镜头旋转扫描方式）
图2：三星2014年发布的360度全景照相机project beyond，内置16个摄像头
c．鱼眼镜头拍摄
图3：理光2013年发布双鱼眼全景相机ricoh theta
3.2鱼眼图像矫正 若为鱼眼镜头采集的到的图像，必须对图像进行矫正。鱼眼镜头图像校正算法通常有两种：一种是球面坐标定位法，一种是经纬映射法。具体推导过程见参考资料【1】《鱼眼照片生成全景图算法的研究与实现》，矫正效果如下图所示：
图4：鱼眼图像及校正后的展开图
3.3 图片匹配
3.3.1与特征无关的匹配方式 与特征无关的匹配方式常见的为相关性匹配，一般都用于没有复杂变换的图像拼接情况下。该方式计算简单，仅为普通的灰度模板匹配。具体细节见参考文档【2】《全景图生成技术研究》。
图5：模板匹配法示意图
3.3.2根据特征进行匹配的方式
基于特征的匹配首先从图像上选取特征信息，然后识别出两幅图像对应的特征信息。常用的特征信息有特征轮廓，特征曲线，特征点，多采用特征点匹配法。
进行特征点匹配的第一步是提取所有素材图片的局部特征点。普遍来讲，一张图片所包含的特征点通常就是周围含有较大信息量的点，而仅通过这些富有特征的局部，基本就可以推测出整张图片。常见的特征点包括sift，fast，surf等。
图6：sitf特征点检测效果图。青色内容为检测到的sift特征点。由于特征点由特征向量表示，所以图中每个特征点显示为一个箭头。
形成特征向量之后下一个问题就是如何匹配了。最基本的方式可以称作“最邻近搜索”（nearest
neighbour），实际上也就是找在128维空间上直线距离最近的的特征向量，这个求直线距离的方式和2维无异，最近的特征向量也就被认为是互相匹配。sift原作者使用的方式是增加了k-d tree算法来高效率地完成高维度上的最邻近搜索。特征点匹配效果如下图所示。
图6：sitf特征点匹配效果图
3.4图片拼接
在以上步骤中得到了图像间的匹配关系，就可以根据这些关系进行图像的拼接了。按照图像匹配的不同方式，拼接处理也分两大类：
a．根据模板匹配的方式，可得到图片见的平移（或者包括缩放）参数，继而根据参数进行图像拼接操作；
b．根据特征点匹配的方式，则利用这些匹配的点来估算“单应矩阵”（homography estimation），也就是把其中一张通过个关联性和另一张匹配的方法。单应矩阵h效果如下：
通过单应矩阵h，可以将原图像中任意像素点坐标转换为新坐标点，转换后的图像即为适合拼接的结果图像。下图即为找出符合几何约束的特征点之后，通过单应矩阵来对齐两张图片的内容。
图7：根据特征点进行图像拼接的效果图
图8：多张图像拼接效果
3.5图像融合3.5.1平均叠加法
平均叠加法是直接对图像进行平均叠加。这是最简单的融合方法，会出现明显的拼接缝隙。
图像拼接后，需要对图像重叠部分进行融合处理。图像融合技术决定了最终图像合成质量，常用的有平均叠加法，线性法，加权法，多段融合法等。具体见参考文档【2】《全景图生成技术研究》。3.5.2 线性法
合。
3.5.3 加权函数法
3.5.4 多段融合法（多分辨率样条）
3.6全景图像投射 3.6.1 柱面全景图 固定视点，使相机在水平面内旋转一周拍摄场景，得到一组具有重叠区域的连续环视图像序列，将这组图像序列无缝拼合，并投影到柱面空间坐标，就得到了衣服柱面全景图。柱面投影就是讲图像投影到柱面上，它是一种透视投影而非平行投影，通俗的讲就是要活的从投影中心这一点上观察图像在柱面上的成像。下图表示将三维空间上的点（x,y,z）映射到柱面模型上得到对应于柱面模型上的点（x,y,z）的过程。其中θ为观察视域中心与x轴夹角，h为柱面模型高度，(x,y,z)为（x,y,z）在柱面模型上的投影。多段融合法是目前比较好的融合方法，拼接成的图像既清晰又光滑无缝，能避免缝隙问题和叠影现象。另外，如果选取好的最佳缝隙线，还能处理有轻微运动物体的图像拼接。但该方法运算量大是其明显缺陷。加权函数法与线性法类似，也是广泛应用的融合方法之一。该方法能有效去除边界缝隙，但在拼合区往往出现叠影模糊的现象。柱面图像的拼接多采用简单的线性法。图像映射到柱面坐标下，图像间就是简单的纯平面平移变换，局部对准后，对重叠区域用线性法融合。该方法适合柱面全景图生成，或者仅具有平移变换的两幅图像融
图9：柱面全景图生成模型
其中，图10：柱面全景图效果图
详细的柱面投影模型的推导过程，见参考文档【5】《柱面全景图拼接算法的研究》。
3.6.2 球面全景图 球面全景图是通过求取图像映射到球面的参数，将图像映射到球面模型上，然后得到的平面反展开图就是球面全景图或者部分球面全景图。
图11：球面投影变换结果图
图12：球面全景图拼接效果
3.6.3 多面体全景图 以景物中心为固定视点来观察整个场景，并将周围场景的图像记录在以该点为中心的环境映射到多面体上，这样环境映射以多面体全景图像的方式来提高其中心视点的场景描述。多面体全景图中以立方体最为简单，立方体全景图是由6幅广角为90度的画面组成。
图13：立方体全景图效果
4.开源图像算法库opencv拼接模块
4.1 stitching_detail程序运行流程
1.命令行调用程序，输入源图像以及程序的参数
2.特征点检测，判断是使用surf还是orb，默认是surf。
3.对图像的特征点进行匹配，使用最近邻和次近邻方法，将两个最优的匹配的置信度保存下来。4.对图像进行排序以及将置信度高的图像保存到同一个集合中，删除置信度比较低的图像间的匹配，得到开源图像算法库opencv在2.4.0版本后集成了一个全景图拼接模块stitch，简要介绍如下： 能正确匹配的图像序列。这样将置信度高于门限的所有匹配合并到一个集合中。5.对所有图像进行相机参数粗略估计，然后求出旋转矩阵 6.使用光束平均法进一步精准的估计出旋转矩阵。7.波形校正，水平或者垂直 8.拼接
9.融合，多频段融合，光照补偿，4.2 stitching_detail程序接口介绍 img1 img2 img3 输入图像
--preview 以预览模式运行程序，比正常模式要快，但输出图像分辨率低，拼接的分辨率compose_megapix 设置为0.6
--try_gpu(yes|no)是否使用gpu(图形处理器)，默认为no /* 运动估计参数 */
--work_megapix <--work_megapix 
车载360全景拼接算法(5篇)
文件夹