本发明属于航空图像处理技术领域，更具体地，涉及一种基于无人机的油气管道巡检方法。

作为国家能源战略通道，油气管道的安全性极其重要。在实际的运营过程中，自然和地质灾害、第三方施工以及管道占压等因素都将对管道的安全运营带来潜在的巨大危害。一旦石油管道发生泄漏或是爆炸，人民群众的生命和财产安全将会受到极大的威胁。因此，频繁有效地进行油气管道的巡检，及时地去除威胁石油管道安全的因素，是石油管道运营防护中十分重要的一环。

传统的石油管道巡检方式主要是依靠人工进行巡检。通常情况下，管道公司将管道划分成不同的段区由不同的巡线人员巡护，巡线人员需要沿线观察和检查线路情况并作记录，但是，有些管道位于较为复杂的地理环境或者较为恶劣的气象环境中，针对这些管道的人工巡检就无法进行。因此，人工巡检具有效率低和成本高的缺点。

随着无人机技术的不断发展，使用无人机进行油气管道的巡检已经表现出了巨大的优势。一方面，无人机巡检速度快、覆盖面广，并且不受地形和气候的影响，因此可以到达巡检人员到达不了的地方；另一方面，无人机机动性能好，可以针对特定的安全隐患制定巡检方案，以图像或是视频的形式把管道隐患更直观地表现出来。

现阶段的无人机巡检方法多是采用无人机巡线拍摄图像，之后将拍摄到的图像传输到处理器上，利用特征匹配、三维重建等技术构建出场景的dem(digitalelevationmodel，数字高程模型)以及dom(digitalorthophotomap，数字正射影像图)，之后通过人工观察dem或是dom中油气管道附近异常的情况，再结合地理信息便可以获得异常情况出现的真实地理位置。尽管这种方法已经可以取得较高的效率，但是仍然需要人工进行判读，而且在实际应用中，我们所关注的异常目标可能仅仅出现在几张图像中，因此，这种对所有图像进行数字处理的方式在效率上还有着很大的提升空间。

针对现有技术的以上缺陷或改进需求，本发明的目的在于提供一种基于无人机的油气管道巡检方法，旨在无需人工干预的情况下，快速地获得油气管道周围异常目标的精确地理位置。

为实现上述目的，本发明提供一种基于无人机的油气管道巡检方法，包括以下步骤：

步骤一、无人机搭载高分辨率成像系统以及高精度定位装置进行低空航拍，获取连续的油气管道图像以及无人机的pos(position位置)信息。

步骤二、采用基于神经网络的目标检测算法进行异常目标检测，具体包括：提取sift(scale-invariantfeaturetransform，尺度不变特征转换)特征描述子并利用svm(supportvectormachine，支持向量机)算法进行聚类；使用graphcut(图割)算法进行图像的分割，并将分割后的图像进行融合和滤波；采用cnn(convolutionalneuralnetwork，卷积神经网络)对目标进行分类。

步骤三、采用基于sfm(structurefrommotion，运动恢复结构)的算法进行异常目标定位，具体包括：利用图像重叠率以及pos信息等进行待重建图像选择；采用sfm算法对待重建图像进行稀疏三维重建；将重建后的稀疏点云变换到真实地理坐标系；计算异常目标的图像坐标和真实地理坐标间的相似变换矩阵，从而将图像上的异常目标变换到真实的地理坐标系下。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：

(1)本发明提供的油气管道巡检方法智能化程度较高。一方面，本发明采用自动的目标检测算法；另一方面，本发明不需要添加额外的地面控制点就可以实现目标的定位。因此，操作人员只需要设计好无人机的飞行轨迹以及飞行方式就可以实现对异常目标的检测与定位。

(2)本发明提供的油气管道巡检方法效率较高。在异常目标检测阶段，基于sift和graphcut的图像分割算法有效的确定了异常目标的可能位置，极大的减小了使用神经网络进行目标分类的复杂度；在异常目标定位阶段，使用pos信息以及图像重叠率等因素进行待重建图像选择，同时在计算相似变换时仅采用异常目标所处区域内的特征点，在省去传统算法中的稠密重建以及dem生成等步骤的情况下，仍然可以获得较高的定位精度(定位误差在10m以内)。

图1是本发明实施例中一种基于无人机的油气管道巡检方法的流程示意图；

图2是本发明实施例中一种异常目标检测方法的流程图；

图3是本发明实施例中一种异常目标定位方法的流程图。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施例提出了一种基于无人机的油气管道巡检方法，具体步骤如下：

步骤s1、无人机搭载高分辨率成像系统以及高精度定位装置进行低空航拍，获取连续的油气管道图像以及无人机的pos信息。其中，无人机可以选取为旋翼无人机或是固定翼无人机，但是考虑到石油管道距离较长，同时旋翼无人机受电池限制，飞行时间十分有限，因此采用旋翼无人机效率较低，故一般选用固定翼无人机。高分辨率成像系统可以为任意高分辨率相机。考虑到定位精度受无人机pos信息精度的影响，无人机所搭载的定位装置可选用基于rtk(realtimekinematic，实时动态差分)技术的定位装置。其中，rtk技术采用载波相位动态实时差分方法，能够在野外实时得到厘米级的定位精度。

步骤s2、采用基于神经网络的目标检测算法进行异常目标检测，其具体流程如图2所示，主要包括以下步骤：

s21、对无人机采集到的图像进行sift特征描述子的提取，此描述子为一个128维的特征向量，反应了特征点的尺度、方向等信息。其中，提取sift特征描述子的过程采用了cuda(computeunifieddevicearchitecture，并行编程与计算)进行加速。

s22、对特征点进行聚类处理。考虑到异常目标往往纹理较为丰富，梯度变化明显，故特征点分布较为集中。基于此，首先将图像进行分块，然后计算块内特征点的数量占总像素点的数量的比例，如果这个比例小于一个预设的阈值α，那么清除块内所有的特征点。之后利用svm(supportvectormachine，支持向量机)算法对特征点进行分类，如果一个类内的特征点数量小于一个预设的阈值β，那么清除这个类内所有的特征点。

s23、使用graphcut算法对图像进行分割。具体的分割方式是：对于每一类特征点，首先将其连成一个区域，从中随机选取m(例如1000)个点作为目标点，然后构建一个包含这个区域的矩形来进行分割，矩形的中心即为这个区域的中心，矩形的面积为这个区域的面积的n(例如10)倍，m、n为预设值。

之后对这个矩形进行图像分割，即对矩形中的每一个像素进行标注，将目标区域的像素标注为1，非目标区域的像素标注为0，从而得到整个矩形区域的标签集合l＝{l1,l2,…,lp}。根据这个标签集合可构建能量函数如下式所示：

其中a用以控制函数r(l)和b(l)在能量函数中占的权重。

能量函数之中r(l)为区域项，表示为rp(lp)为像素p分配标签lp的惩罚，具体可通过计算像素p的灰度在目标区域的灰度直方图中所占的比例得到，其中目标区域的灰度直方图由前面随机选取出的1000个像素点计算得出。同时为了适应于能量函数，灰度比例要进行负对数的处理。

能量函数的另外一项b(l)为边界项，表示为其中

p与q为邻近的像素，ip和iq为这两个像素的灰度值，b<p,q>反应了这两个像素的灰度差异。如果这两个像素具有不同的标签，并且在灰度上也具有较大的差异，那么他们间存在分割边界的概率将会比较大，从而其对应的能量函数较小，即惩罚项较小。

构建了这样的能量函数之后，利用mincut(最小割)算法找到最小的割，就得到了最终的分割结果。

对每一类的特征点都进行分割处理之后，就得到了所有分割出来的目标。

s24、由于异常目标例如工程车辆等在图上所占的面积都相对较小，因此这一步将分割出来的面积超过一定阈值的目标去除。同时，如果两个目标相隔较近，并且其在结构、灰度上十分相似，那么他们将被融合成一个目标。其中，结构上的相似性用ssim(structuralsimilarityindex，结构相似性)描述，灰度上的相似性用灰度直方图表描述。

s25、采用cnn网络对分割出来的目标进行分类，其中网络包含8层卷积层、8层池化层以及5层全连接层，将最后全连接层的输出结果通过svm算法进行分类之后就得到了目标的类别。网络参数的训练过程是首先采用voc2007数据集进行预训练，然后使用采集到的真实数据再进行训练，从而实现参数微调的效果。

步骤s3、计算异常目标的真实地理位置，其具体流程如图3所示，主要包含以下步骤：

s31、对于异常目标存在的图像，从其他图像中选择几张与其邻近的图像。具体选择主要参考两个指标：一是无人机的pos信息，即被选择的图像与异常目标存在的图像所对应的拍摄相机间的距离应当小于一个预设的阈值γ；另一个是图像重叠率，这个指标通过sift匹配点数进行描述，即如果相匹配的特征点占检测出来的所有的特征点的比例小于一个预设的阈值ε，那么这张图像将不被选取。

s32、使用sfm算法对所选取的图像进行稀疏三维重建。具体的重建过程是：首先读取图像的exif(exchangeableimagefileformat，可交换图像文件格式)信息，然后利用sift算法进行特征匹配。之后对一个图像匹配对进行初始化，即利用八点法计算出本征矩阵，然后通过svm分解得到这两个图像之间的变换关系(旋转矩阵和平移矩阵)。接着逐渐加入新的图像，每加入一张图像，就根据二维特征点和三维点的匹配关系，通过epnp(efficientperspective-n-point，有效的透视n点定位)算法求解出新的图像的相机位姿，直到将所有的图像都加入进来。由于这种增量式重建的方法会造成误差的累计，所以最后利用光束法平差进行整体的优化。

s33、采用最小二乘法计算当前重建的坐标系和真实地理坐标系间的相似变换，并将这个相似变换应用于重建出来的所有三维点，从而得到真实地理坐标系下的三维点云。

s34、计算异常目标图像坐标到其真实地理坐标间的相似变换。考虑到相似变换的基础是变换的点位于同一平面上，因此这里仅仅选取异常目标所处区域内的特征点，之后利用最小二乘法计算其到真实地理坐标系下的三维点云的相似变换。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

致力于培养适合企业需求的技能作业人才，除了考证，我们更培养无人机航空拍摄应用和视频剪辑全技能，毕业即能独立作业，胜任岗位需求，真正拿到高薪。

1.年龄16-40岁，男女不限，初中以上学历；

2.遵纪守法，无不良行为，提供政审证明（当地公安局开具证明）；

3.身高要求：矫正视力1.0以上，无色盲、色弱，无传染性疾病；无心脑血管及

精神类疾病，身体无残疾，无不良嗜好；

4.有下列情形之一的不得申请报名:

 ⑴有品质性心脏病、癫痫病、美尼尔氏症、眩晕症、震癫麻痹、精神病、痴呆以及影响肢体活动的神经系统疾病等疾病；

 ⑵吸食、注射毒品，长期服用依赖性精神药品成瘾尚未戒除的。