面向三维重建的无人机航拍路径规划技术研究综述
本文内容来源于《测绘通报》2022年第8期，审图号：GS京（2022）0570号
面向三维重建的无人机航拍路径规划技术研究综述吴昌松1,2, 彭业萍1,2, 曹广忠1,2, 闫妍31. 深圳大学机电与控制工程学院, 广东 深圳 518060;
2. 广东省电磁控制与智能机器人重点实验室, 广东 深圳 518060;
3. 南宁师范大学北部湾环境演变与资源利用教育部重点实验室, 广西 南宁 530001
基金项目：国家自然科学基金(51905351;U1813212);深圳市科技计划(JCYJ20190808113413430);北部湾环境演变与资源利用教育部重点实验室(南宁师范大学)开放基金(NNNU-KLOP-K1935)关键词：无人机, 三维重建, 倾斜摄影, 航拍路径规划, 视点规划
引文格式：吴昌松, 彭业萍, 曹广忠, 等. 面向三维重建的无人机航拍路径规划技术研究综述[J]. 测绘通报, 2022(8): 98-103,122. DOI: 10.13474/j.cnki.11-2246.2022.0239.摘要摘要 ：在对城市大场景的三维重建中,使用无人机在低空采集图像成为主流方案,通过优化无人机的航拍路径,能有效提高场景三维重建的精度和效率。为此,近年来致力于发展新的无人机航拍路径规划技术和方法,包括视点规划和飞行路径规划,取得了显著成果。本文通过概述无人机航拍路径规划的基本流程,详述基于二维模型、三维模型和未知环境下的航拍路径规划技术,对比不同路径规划方法的优缺点,探讨无人机航拍路径规划的发展趋势,为开展无人机航拍控制、大场景三维重建研究提供重要参考。正文多视图三维重建技术已被广泛应用于单个对象或室内场景三维重建[1,2,3],而无人机技术与三维重建技术相结合后，使用无人机在低空采集图像，可实现低成本且高精度的户外城市大场景三维重建[4],成为城市环境测绘、管理规划、自动驾驶、地图导航、文物保护、虚拟现实[5,6]等技术研究的重要手段。无人机倾斜摄影三维重建技术应用于城市大型场景重建时，航迹规划软件[7]的主流解决方案往往需要在固定平面上规划无人机图像采集路线，并沿途采集大量图像。但是在结构复杂、高低起伏的场景中，近地面图像细节信息模糊，底部结构可能被遮挡，导致重建的场景模型精度低，局部细节丢失，模型不完整。为补全场景模型局部细节，需要手动操作无人机多次采集对应图像。这种不规范的图像采集既烦琐又耗费大量时间，大量采集图像会造成信息冗余，处理效率低。而且，现有无人机视觉三维重建技术大多未考虑图像采集方式对三维重建精度和效率的影响作用。为规范图像采集流程，减少无人机飞行时间(缓解续航问题),提升场景重建模型的精度、完整度，有必要对无人机的航拍路径进行规划(包括视点规划和飞行路径规划)。文献[8]对无人机在空中自由度高、视点(采集图像的位置和姿态)选择灵活等特点进行研究，证明了不同倾斜角度、分辨率、重叠度的图像对三维重建精度的影响，使图像采集中的视点规划有了依据。在此类研究基础上，诸多学者致力于无人机的三维重建航拍路径规划技术研究。通过规划三维空间中无人机的飞行路径和视点分布，以较少的图像获得更高的重建精度和模型完整度。视点规划的早期研究[9]主要应用在小型三维重建工作台上，重建对象是单个模型或室内场景，而本文提及的视点规划研究主要针对基于无人机的户外大场景三维重建。综上，本文将介绍无人机航拍路径规划的一般流程和方法，按场景粗略模型将航拍路径规划分为空间模型规划和未知环境场景规划，其中空间模型为二维模型及三维模型，并进行对比分析，总结优缺点，并预测无人机航拍路径规划研究的发展趋势。
1 航拍路径规划的一般流程
在三维重建中，无人机航拍路径规划按步骤分为视点规划和飞行路径规划两部分。视点规划是一个非确定性问题，在三维空间中相机位姿为高自由度，则视点的选择灵活多样，但也会受焦距、视场等相机模型自身的约束及图像重叠率、模型覆盖度等视点之间的约束。在视点规划技术中，根据场景模型可分为基于模型的视点规划和未知环境下的视点规划。基于模型通常首先生成稠密视点，然后进行视点筛选和补充，最后得到一组最优视点。而在未知环境下的视点规划则比较复杂，核心问题是如何根据前面视点的三维数据信息寻找评估出下一个最优视点(next best view, NBV)的视点位置和视线方向。文献[10]提出了两种方法确定下一个最优视点：一种是由未知体素的法线之和确定NBV,另一种是由比对目标模型周围集合的视场确定。在随后的研究中，涌现出各种各样的NBV算法，考虑的因素越来越多。在使用无人机航拍进行三维重建的工作中，考虑无人机续航和安全性问题，主要使用的是基于模型的视点规划。一般的无人机航拍流程，如图1所示。首先获取场景模型，对于地形、结构复杂的场景，建立其二维或三维模型，以便于规划无人机的拍摄路径。为了便于规划，一般将面积大、地形结构趋于平坦的场景简化为二维平面进行航拍路径规划。对于地形结构比较复杂、高低起伏较大的场景，重建精度、完整度要求比较高，则需要在三维空间中进行航拍路径规划。
图1 无人机航拍路径规划流程
2 基于模型的航拍路径规划
2.1 基于二维模型的航拍路径规划基于二维平面的航拍路径规划相对比较简单，现已广泛应用于现实场景，其中代表性航迹规划软件有：DroneDeploy、Altizure、Pix4D和DJI GS PRO[11]。如图2所示，在航迹软件的使用中，用户首先在卫星地图上选定需要重建的区域，并设置飞行高度、飞行速度等参数，即确定了一个空间中的平面。由于平面模型获取的信息有限，软件一般在该平面上生成最佳的覆盖飞行路线(如等间距平行线),然后依据图像重叠率确定飞行过程中的拍摄间隔。最后使用拍摄到的一系列图片进行三维重建，生成该区域的三维模型。基于平面的航拍路径规划，不需要复杂计算，而且适用于大多数环境，能较快地完成图像的采集，因此在室外场景中应用广泛。
一些学者对二维平面上的航线规划进行了细致研究，如针对凸多边形任务区域，在图像重叠度和时间连续性的约束条件下，基于光栅法规划扫描航线，并结合最佳扫描方向使得无人机的转弯次数最少[12]。
针对城市复杂区域倾斜摄影建筑物遮挡问题[13],首先基于前期测区踏勘成果确定航线的高度范围，然后通过建筑最密集区域确定航线方向并计算重叠度，最后根据侧视影像临界点设计该区域的航线路径。结果表明，基于该方法建立的三维模型，建筑均能保持完整的侧面纹理，且与常见商业软件自动规划的航线相比，其模型分辨率、模型完整性更高。
图2 DJI GS PRO操作界面
文献[14]首先通过分析卫星图像，利用数值图像处理将区域分割，获得城市区域航拍的航点位置集合，并将问题转化为约束条件下的无人机抵达全部航点所需的时间最短及航线最优的优化问题，随后建立蚁群、遗传混合算法，求解最终的优化航线。但基于平面的航拍路径规划的缺点明显：仅从高空俯视，难以获取靠近地面的细节信息，特别是对于那些场景较高、顶部结构会遮挡底部细节、结构复杂的场景，使用这种航拍规划会导致模型的局部细节丢失且精度不高。为此，学者们提出了基于三维模型的航拍路径规划方法，可有效获取场景的全局信息。2.2 基于三维模型的航拍路径规划基于三维模型的航拍路径规划需要首先获取目标场景的粗略三维模型，然后根据模型信息、约束条件生成稠密视点，对视点进行评估优化，筛选出最优、最小视点集。视点位置和数量确定后，规划一条先后通过所有视点的最短飞行路径，从而高效率地采集图像，重建较高精度、较高完整度的大型场景。针对基于三维模型的航拍路径规划方法的各个步骤，并对比分析不同学者提出的不同方法和模型，总结优缺点如下。2.2.1 场景模型获取通过平面地图或卫星地图可以获取场景的平面模型[15],而场景三维模型的获取可通过卫星地图上获取建筑物的阴影长度、太阳高度角，结合勾股定理估计建筑物高度，再从平面地图上获取建筑物的轮廓，以该轮廓拉伸估计出来的高度，以获取粗略的三维模型。该方法较为简便，但高度估计的误差较大，导致模型的精度较低。通过手动控制无人机粗略采集场景图像，使用少量图像进行三维重建获得场景的粗略模型，模型精度相对较高[16]。2.2.2 稠密视点的生成根据视觉任务和已获取的三维模型信息，结合拍摄环境确定无人机的稠密视点空间。通常是将候选视点空间离散化成球面型或等距离曲面等形状，离散采样方法包括网格面离散或泊松盘采样及经纬分割离散等方式。在平面模型上生成视点，该方法是商业软件上的常用规划方案[17]。在球面模型上生成视点，如图3所示，初始稠密视点分布在一个包围物体的球面上[18]。
图3 球面模型
球面模型可以进一步简化为螺旋线环绕，使用环绕形式的航拍路径规划[19,20],其与二维平面的航拍路径规划获得的模型精度有显著提高。在场景模型的包裹曲面上生成视点[21],如图4所示，将视点约束在某个面上可近距离采集场景图像，确保观察到场景的局部细节，以提高重建模型的分辨率，从而提高重建精度。
针对单目相机的视点规划，提出了光学约束条件[24,25],分别为可视角、焦距、视场、分辨率、场景自身遮挡约束、禁止区域等。还需考虑全局约束，包括视点重叠率、模型覆盖率等。此外，执行机构的自身局限性造成工作存在禁止区域。根据视点规划目的和任务，对候选视点进行遍历测试，最终进行全局筛选得到期望的子视点集。对于结构复杂、存在较多遮挡的区域，需要进行视点补充，以保证重建模型的完整性。以图像重叠率为例，如图6所示，视点Ca与视点Cb之间的图像重叠率由式(1)计算得到，在三维重建中图像重叠率一般为60%～80%。
根据上述步骤确定的视点位置和数量，可将无人机的飞行路径规划问题转化为TSP[26](traveling salesman problem)问题，即旅行商求解最短访问路径。由于大场景三维重建需要大量的视点图像采集，而且无人机续航时间有限，因此求解通过所有视点的最短飞行路径非常重要，如图7所示。常见的最短飞行路径规划方法有蚁群算法、遗传算法和模拟退火算法等。
图7 最短飞行路径
场景较大时，视点数量大且飞行路径长，图像采集需要时间长，由于无人机续航时间(20～30 min)有限，在同样光照条件下采集多张图像，则需要使用多架无人机共同完成图像采集任务，必要时还需要指定起点和终点位置，对多无人机飞行路径进行协同规划[27,28]。
在无人机路径规划中，通常会构造综合多因素的优化评估函数，如考虑视点数量、重建精度、重建完整度、路径平滑(转弯半径)、飞行速度、飞行时间(电池损耗)、飞行安全距离等因素。
3 未知环境下的航拍路径规划
在实际工况中，大型、复杂场景的模型难以获取，则需要在未知环境下对无人机的航拍路径进行规划，即在探索未知环境的同时进行三维重建。重建过程中的图像数量具有不确定性，需要不断探索路径、不断采集新的图像，以提升场景重建的完整性。
探索未知环境的常规方法可分为两类：基于边界(froniter-based)和基于采样(sampling-based)的探索方法。基于边界探索算法[29],首先基于图像分割技术提取局部栅格地图中已知和未知区域之间的边界，然后控制机器人选择向最近边界区域运动，从而获取新环境信息，扩大地图创建。该方法需要在边界来回移动，完成全局探索需要较长的时间。基于采样的探索方法[30,31],使用快速探索随机树(rapidly-exploring random tree, RRT)算法在空间中随机生成多个视点，对每个视点进行评估，选择对于重建贡献较大的视点(确保视点有尽量大的体积覆盖),即为下一个最优视点(NBV),如此不断生成下一视点，以探索未知环境。需要对每个采样点进行评估，因此在局部探索中有较大优势，但会导致计算量较大。
将基于边界和基于采样的探测方法相结合[32],通过利用八叉树图表示边界体素的隐式分组，避免了在边界的探索中计算边界聚类，候选下一最优视图，从地图边界采样，并结合地图熵和飞行时间的效用函数进行评估，探索更加快速、高效。
与此类似的思想，文献[33]提出了一种融合基于边界探索和RH-NBVP(receding horizon next-best-view planning)的大规模场景主动探索方法。RH-NBVP方法使用采样结合快速探索随机树(RRT)选择下一个最优视点，在局部区域中的探索具有较大优势。而基于边界探索方法在引导机器人进行全局探索时，探索边界是整个区域，可以避免RH-NBVP探索陷入局部最小值。因此，融合两种方法进行大场景探索，可以实现快速、高质量探索。
也有一些学者将深度学习方法应用于无人机对未知环境的探索中。如使用三维卷积神经网络，预测评估下一视点对重建场景的收益[34]。该网络将未知空间离散化为体素表示作为输入，使效用函数从适当的训练数据中隐式地获取关于建筑物几何结构信息，并且能够仅在给定当前占用图的情况下，预测新视点的贡献度。在仿真环境中，使用深度相机在大型城市场景上测试，证明该网络能够泛化到除训练数据以外的场景，且能够对嘈杂的传感器输入(如带干扰的深度图像)具有稳健性。试验表明，该方法提升了场景探索及重建效率。与此类似的有基于监督式深度学习的NBV规划方法[35]。该方法可自动生成数据集，通过三维卷积神经网络(3D-CNN),完成训练和测试，用于解决NBV问题。
在自主探索框架的基础上，文献[36]提出了一种以构建地图为输入基于深度强化学习的自主探索决策算法。通过设计一种用于环境探索的奖励函数和新的动作空间，缓解了端到端深度强化算法在实体机器人控制上，由于机器人误差导致的迁移性能差问题。在仿真环境和实际环境进行了验证，表明该方法具有良好的探索效率及迁移性能。
未知环境下的航拍路径规划是未来的研究趋势，常规方法有基于边界和基于采样的探索方法。近几年也有学者将深度学习方法应用与自主探索，由于没有环境的先验信息，需要考虑的因素多，包括评估下一最优视点、识别环境中的动态物体、避障导航、在微型处理器上实现实时高效算法等。
4 总结与展望
面向三维重建的无人机航拍路径规划，无论是基于二维模型、三维模型，还是在未知环境中的航拍路径规划方法，均是针对户外大型场景重建。研究如何通过合理规划无人机的航拍路径，以提升重建精度和完整度。基于二维模型的航拍路径规划方法相对简单，二维模型获取方便，工作量小，只适用于比较平坦的场景，重建精度较低。基于三维模型的航拍路径规划方法，需要获得场景三维模型，工作量大，适用于大多数场景(如结构较复杂、高低起伏大的场景),能够保证重建精度和完整性。在未知环境下的航拍路径规划，探索未知环境的同时，需要完成场景的三维重建，如何确定下一最优视点是其核心问题。图像采集质量不一定最优，数量具有不确定性，场景重建的完整性提升需要不断探索路线并采集新图像。
大场景的图像采集需要有效规划无人机的图像采集和飞行路径。无人机航拍路径规划方法研究从最初的在二维平面上规划转向三维空间，从基于模型的规划转向探索未知环境，从手动采集图像转向自主实时探索环境并采集图像。将深度学习方法应用于航拍路径规划工作中也是当前的研究热点，如应用于阴影检测、建筑物轮廓提取、建筑物三维包围盒提取、评估视点贡献率、探索路径决策等。当重建场景结构复杂、航拍路径曲折、且路程较长时，使用单一无人机采集图像无法满足实时性需求、模型完整度需求，使用多无人机协作或与地面移动机器人协作是未来的发展趋势。
作者简介作者简介：吴昌松(1998-),男,硕士生,主要研究方向为大型场景三维重建。E-mail:wu_changsong@163.com通信作者：彭业萍。E-mail:pyp8020@163.com初审：纪银晓复审：宋启凡
终审：金 君资讯
