本文分享如何利用现有的技术解决 水表自动读数问题。 核心的思路是：定位数字区域并截取、将目标区域中的数字分割出来、识别各个位置的数字。 涉及的技术：YOLOv3 目标检测、图像处理、分类

可以自动化的任务必须是自动化的。但是，人类开发的普通任务被证明是由机器完成的复杂任务。图像中的数字阅读就是其中之一。

读取图像中数字的任务很容易被人类完成，但是当试图在机器上实现这一功能时，困难就出现了。光照条件、图像角度、噪声、清晰度等。有许多变量会影响系统的性能。

这个小项目分析了计算机视觉技术在用水表读数中的应用。

这里使用google 的 colab来训练这个模型。在平台提供的GPU的帮助下，训练了5个小时，效果非常令人满意。

定位了感兴趣的区域后，很容易从获得的坐标中切出包含数字的区域。

第二步对裁剪的区域进行数字分割

这里使用传统的方法将第一步中的数字区域分割出来。具体的步骤如下：

1、将图片转为灰度图：

为问题选择了最佳阈值（使用TOZERO获得最佳结果-如果像素值小于所采用的限制，则将其设置为零，并保持其他值）：

利用findContours函数（OpenCV）定位轮廓。对发现的轮廓进行排序，并根据其面积进行过滤。选择了最可能包含数字的区域的值。

这里比较尴尬的是，数字6没有被识别。

最后一个阶段的任务是读取步骤2中分割的数字。为了完成这个任务，将采用另一个卷积神经网络，借助于著名的MNIST数据集进行训练。

算法得到的结果如下图所示。可以看出，网络表现良好，识别数字6的错误来自第二阶段。

该项目中最复杂的部分之一是分割。影响系统性能的因素很多，需要调整的参数也很多。如何改进这一制度？第一和第三阶段显示出良好的效果。错误出现在第二阶段。后面的数字识别也并不非常的准确。

1. 一种基于多特征融合的水表读数区域检测算法，其特征在于，包含以下步骤： 51、 获取训练数据，通过摄像头拍摄水表图像样本，并对图像中的水表读数区域进行人 工标注，获取水表读数的中心位置、长度和宽度信息； 52、 切割水表图像中读数区域和非读数区域，提取该切割区域的多通道特征并进行特 征融合，以提取的多通道特征为输入训练图像分类器;所述切割区域是不确定的区域，由图 像分类器进行分类，分为读数区域和非读数区域； 53、 提取水表图像多通道特征，所述多通道特征包括梯度方向直方图、梯度幅值、LUV颜 色特征、灰度颜色特征，计算水表图像的特征积分图； 54、 遍历全部滑动窗，利用特征积分图计算各滑动窗特征，利用S2训练的图像分类器对 滑动窗进行分类，获取目标窗口； 55、 用外插方法估计原图在多个尺度下的特征积分图，重复S4、S5步骤，获取多尺度的 目标窗口； 56、 旋转原图，重复S3、S4、S5、S6步骤，获取多方向的目标窗口。

2. 根据权利要求1所述基于多特征融合的水表读数区域检测算法，其特征在于，所述步 骤S1具体为： S1. 1、通过RGB摄像头采集实际场景中的水表图像样本； S1.2、对S1.1中所获取的水表图像样本中的水表读数区域进行人为的标注，包括水表 读数区域的中心位置(x，y)、长度h、宽度w和角度a。

3. 根据权利要求2所述基于多特征融合的水表读数区域检测算法，其特征在于，所述水 表图像样本包括以下不同的参数:光照、视角、水表类型、水表受损程度。

4. 根据权利要求1所述基于多特征融合的水表读数区域检测算法，其特征在于，所述步 骤S2具体为： 52.1、 按照步骤S1所得水表图像及读数区域标注，切割出读数区域和非读数，用于目标 的分类； 52.2、 提取S2.1所切割图像的多通道特征，以多通道特征为输入，训练集成决策树分类 器对该区域是否为读数区域进行分类。

5. 根据权利要求1所述基于多特征融合的水表读数区域检测算法，其特征在于，所述步 骤S3具体为： S3.1、提取水表图像多通道特征，包括梯度方向直方图、梯度幅值、LUV颜色特征、灰度 颜色特征，并计算特征积分图； 所述梯度方向的计算方法

其中〇(i，j)为像素点（i，j)处梯度方向的角度；I为图像，X代表水平方向，y代表垂直方 向，i代表像素点在水平方向上的坐标;j代表像素点在垂直方向上的坐标； 所述梯度幅值的计算方沒

其中M( i，j)为像素点（i . j)处的梯度幅值;I为图像，X代表水平方向，y代表垂直方向，i 代表像素点在水平方向上的坐标;j代表像素点在垂直方向上的坐标。

6. 根据权利要求1所述基于多特征融合的水表读数区域检测算法，其特征在于，所述步 骤S4具体为： 54.1、 遍历各滑动窗，利用步骤S3所得特征积分图，计算各滑动窗的多通道特征，并进 行特征融合； 54.2、 以S4.1融合的特征向量为输入，利用S2训练所得图像分类器对滑动窗进行分类， 得到滑动窗显著性； 54.3、 对检测到的目标进行极大化抑制，得到检测目标。

7. 根据权利要求1所述基于多特征融合的水表读数区域检测算法，其特征在于，所述步 骤S5具体为： 55.1、 利用相邻尺度图像的统计特性，通过外插的方法估计多尺度下的原图特征，外插 |Τ法加下.

其中S代表图像的尺度，(^代表尺度S下的图像特征，R(C，s)是对特征图C进行尺度为S的 重采样;λ为通过图像的统计分析得到的通道参数；Ω代表不同的图像通道;外插算法通过 某一固定尺度下计算的图像特征来快速计算多个相邻尺度的图像特征； 35.2、 重复54、55，得到多尺度下的读数区域目标窗。

8. 根据权利要求1所述基于多特征融合的水表读数区域检测算法，其特征在于，所述步 骤S6具体为： 以5度为间隔，多次旋转原水表图像，重复S3、S4、S5、S6步骤，计算得到多方向的水表读 数区域，即获取多方向的目标窗口。

本站为注册用户提供信息存储空间服务，非“MAIGOO编辑上传提供”的文章/文字均是注册用户自主发布上传，不代表本站观点，版权归原作者所有，如有侵权、虚假信息、错误信息或任何问题，请及时联系我们，我们将在第一时间删除或更正。 网页上相关信息的知识产权归网站方所有(包括但不限于文字、图片、图表、著作权、商标权、为用户提供的商业信息等)，非经许可不得抄袭或使用。