• Peer Review
  • Non-profit
  • Global Open Access
  • Green Channel for Rising Stars
Volume 3 Issue 2
Jul.  2020
Turn off MathJax
Article Contents

Yongjie ZHAI, Muliu ZHANG, Hong QIAO, Di WANG. Research on Extraction of Fan Blade Crack Based on Salient Region Detection[J]. SOUTHERN ENERGY CONSTRUCTION, 2016, 3(2): 136-140. doi: 10.16516/j.gedi.issn2095-8676.2016.02.027
Citation: Yongjie ZHAI, Muliu ZHANG, Hong QIAO, Di WANG. Research on Extraction of Fan Blade Crack Based on Salient Region Detection[J]. SOUTHERN ENERGY CONSTRUCTION, 2016, 3(2): 136-140. doi: 10.16516/j.gedi.issn2095-8676.2016.02.027

Research on Extraction of Fan Blade Crack Based on Salient Region Detection

doi: 10.16516/j.gedi.issn2095-8676.2016.02.027
  • Received Date: 2016-04-01
  • Publish Date: 2020-07-17
  • A method based on the combination of the salient region detection and the connected domain detection is proposed in this paper. This method is applied to extract the crack on the blade in the process of the wind turbine blade failure inspection based on digital image processing technology. First, the gray processing and the image enhancement based on the guide filter were used for preprocessing. And then the commonly used processing methods concentrate in the target area was changed into analyzing the characteristics of the background region to remove the background area. Finally, the salient region detection and the connected domain detection were combined to extract the crack area. The test results show that this method can label the cracks from the blade comparatively completely.
  • [1] 张磊. 基于计算机视觉的风力机叶片缺陷诊断研究 [D]. 武汉:华中科技大学,2013.
    [2] KAIMING He, JIAN Sun, XIAO Outang. Guided Image Filtering[J]. IEEE(35):2013.
    [3] 王伟鹏,戴声奎. 引导滤波在雾天图像清晰化中的应用[J]. 华侨大学学报(自然科学版),2015,36(3): 263-268.

    WANG Weipeng, DAI Shengkui. Application of Guided Filter to Haze Image Sharpening[J]. Journal of Huaqiao University(Natural Science),2015,36(3): 263-268.
    [4] 胡世昆. 基于数字图像处理技术的路面裂缝检测算法研究 [D]. 南京:南京邮电大学,2012.
    [5] 徐威,唐振民. 利用层次先验估计的显著性目标检测[J]. 自动化学报,2015,41(4): 799-812.

    XU Wei, TANG Zhenmin. Exploiting Hierarchical Prior Estimation for Salient Object Detection[J]. Acta Automatica Sinica,2015,41(4): 799-812.
    [6] 姜霞霞,李宗民,匡振中,等. 融合双层信息的显著性检测[J]. 中国图象图形学报,2015,20(3): 0340-0348.

    JIANG Xiaxia, LI Zongmin, KUANG Zhenzhong,et al. Image Saliency Detection Based on Two-layer Information Fusion[J]. Journal of Image and Graphics,2015,20(3): 0340-0348.
    [7] HOU Xiaodi, ZHANG Liqing. Saliency Detection:A Spectral Residual Approach [C]. Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition,USA:IEEE,2007:1-8.
    [8] CHENG Mingming, NILOY J. Mitra,HUANG Xiaolei,et al. “Global Contrast Based Salient Region Detection”in CVPR,[C]. IEEE TPSMI,2015:409-416.
    [9] 厉荣宣,沈希忠,张树行,等. 基于图像处理的轴类零件表面裂纹检测[J]. 图学学报,2015,36(1): 62-67.

    LI Rongxuan, SHEN Xizhong, ZHANG Shuxing,et al. Surface Crack Detection of Shaft Components Based on Image Processing[J]. Journal of Graphics,2015,36(1): 62-67.
    [10] 张大奇,曲仕茹,李卫斌,等. 道路裂纹线检测中的脊波域图像增强算法[J]. 中国公路学报,2009,22(2): 26-30+76.

    ZHANG Daqi, QU Shiru, LI Weibin,et al. Image Enhancement Algorithm on Ridgelet Domain in Detection of Road Cracks[J]. China Journal of Highway and Transport,2009,22(2): 26-30,76.
    [11] 刘新瀚,钱侃,王宇飞,等. 自然场景下基于连通域检测的文字识别算法研究[J]. 计算机技术与发展,2015,25(5): 41-45.

    LIU Xinhan, QIAN Kan, WANG Yufei,et al. Research on Character Recognition Algorithm Based on Connected Domain Detection in Natural Scene[J]. 2015,25(5): 41-45.
  • 通讯作者: 陈斌, bchen63@163.com
    • 1. 

      沈阳化工大学材料科学与工程学院 沈阳 110142

    1. 本站搜索
    2. 百度学术搜索
    3. 万方数据库搜索
    4. CNKI搜索

Figures(6)

Article Metrics

Article views(245) PDF downloads(40) Cited by()

Related

Research on Extraction of Fan Blade Crack Based on Salient Region Detection

doi: 10.16516/j.gedi.issn2095-8676.2016.02.027

Abstract: A method based on the combination of the salient region detection and the connected domain detection is proposed in this paper. This method is applied to extract the crack on the blade in the process of the wind turbine blade failure inspection based on digital image processing technology. First, the gray processing and the image enhancement based on the guide filter were used for preprocessing. And then the commonly used processing methods concentrate in the target area was changed into analyzing the characteristics of the background region to remove the background area. Finally, the salient region detection and the connected domain detection were combined to extract the crack area. The test results show that this method can label the cracks from the blade comparatively completely.

Yongjie ZHAI, Muliu ZHANG, Hong QIAO, Di WANG. Research on Extraction of Fan Blade Crack Based on Salient Region Detection[J]. SOUTHERN ENERGY CONSTRUCTION, 2016, 3(2): 136-140. doi: 10.16516/j.gedi.issn2095-8676.2016.02.027
Citation: Yongjie ZHAI, Muliu ZHANG, Hong QIAO, Di WANG. Research on Extraction of Fan Blade Crack Based on Salient Region Detection[J]. SOUTHERN ENERGY CONSTRUCTION, 2016, 3(2): 136-140. doi: 10.16516/j.gedi.issn2095-8676.2016.02.027
  • 风能作为现代社会的新能源,将会在我国电力事业中发挥越来越重要的角色。到2014年底我国的并网风电已经达到了96.57 MW,同比增长了26.2%,年发电量1 598亿kWh,占全国发电量的2.85%。风电事业的发展将会对我国能源结构的调整以及生态环境的改善做出巨大的贡献。我国目前已经建成的风电场大多在戈壁、草原、滩涂、海岛、山区、近海等地区,这些地区的气候恶劣,风力发电机桨叶作为风电机组的关键部件之一,长年工作在这种环境当中,并且全天处于交变载荷下运行,其故障的发生率很高,且一旦发生故障,将会造成严重的损失。目前,风力发电机桨叶的维修方式主要采用的是计划维修和事后维修,这两种维修方式并不能及时全面的了解风机桨叶的状况,且事后维修由于事先准备不足,造成维修工作耗时太长,损失严重。有效的监测可以使桨叶的维修工作更加及时合理,以避免重大事故的发生。采用基于数字图像处理和目标识别的方法对桨叶状态进行监控,可以及时获取叶片信息,延长设备的使用寿命,有效地减少人力物力的损耗,大大降低维修耗费的经济成本。本文采用的是基于引导滤波器和显著性区域检测原理的方法来实现风力发电机桨叶的裂纹提取。本文的方法主要包括两部分,即桨叶图像的预处理和故障裂纹的提取。

  • 风机桨叶是风力发电机组中最为关键的部件之一。目前,对风力发电机桨叶进行监督的方法可以分为损毁和非损毁两类。而对于风机桨叶的在线监测,非损毁监测方法才具有实际意义。这些方法主要包括:声发射、热成像、超声波探伤法、激光多普勒测震等[1]。但这些方法普遍存在成本较高、应用范围受到制约,并且受环境影响比较大的缺陷。随着基于计算机视觉技术的无损检测手段在风机桨叶出厂质量检测中的广泛应用,该方法在风机桨叶在线诊断中的应用也越来越受到重视。但该方法仍然存在很多基础性和关键性的问题尚未解决,比如风机桨叶表面故障区域随机性很强,形状没有规律,没有明显的边界限制,灰度不均匀且故障区域的特征不易提取和描述等。针对这些情况,本文提出了基于显著性区域检测原理的风机桨叶裂纹提取算法。该算法分为预处理和裂纹提取两部分。整体算法流程图见图1

    Figure 1.  Flow Chart of the Crack Automatic Recognition

  • 对于数字图像处理来说,一般输入的图像都是彩色图像,彩色图像在计算机中是以三维的矩阵形式储存的,计算起来较为复杂,为了减少后期处理的运算量,先对输入的图片进行灰度化处理。可利用图像的亮度值作为该点像素的灰度值。亮度值与RGB分量的关系如下。

    ((1))

    式中:Y为灰度值,RGB分别为彩色图像的三个颜色分量。

  • 由于裂纹的主要特征是纹理特征,裂纹图像中包含了大量的边缘细节信息,仅用亮度值表示的灰度图并不能更精确地表现出原图像更深一层的细节信息,因此需要对其进行图像增强处理。引导滤波器是由何凯明等[2]提出的一种新的图像滤波器,这种滤波器能够在参考图像的引导下,对输入的图像进行滤波处理,在维持边缘特性的同时,又对其进行了很好的滤波操作[3],它的思想主要来自于一种局部的线性模型,该滤波器的输出需要考虑到引导图像中的内容,而引导图像可以是输入图像本身也可以是其它图像。它的计算复杂度取决于滤波内核的半径大小,因此用其处理图像的时候表现出很好的时效性,经证明引导滤波器在图像去噪,图像细节平滑、增强、抠图、羽化等方面均取得了不错的效果[4]

    引导滤波器过程的实现:

    首先,定义一个一般的线性移变滤波过程,在这个过程中,输入图像为p,引导图像为I,可以得到一幅输出图像q。在本文中,我们将输入图像同时作为输入图像和引导图像。这个滤波过程相当于是对输入图像p进行线性变换的过程。

    像素点i的滤波输出可以表示为:

    ((2))

    式中:ij为像素索引;I为引导图像;pj为输入图像;滤波器内核Wij(I)为I的函数。滤波器核函数的确定是该滤波处理的关键。

    这种滤波器采用的是一种局部线性模型的方法,即依次以图像中的一个像素为中心,半径为r的方形窗为处理区域,然后在方形窗上进行线性运算。假设在方形框中引导图像和输出图像之间存在如下关系:

    ((3))
    ((4))
    ((5))

    式中: 分别为该像素点所在所有方向窗中的akbk的平均值,由于在不同的方形窗中qi的值是不同的,所以在此处aibi采用取平均值的方式获得。wi为方形窗,|w|为方向窗内的像素数。

    其中akbk的求取公式为:

    ((6))
    ((7))

    式中:μk 是引导图像在方形窗内的均值和方差。

    图2所示,增强处理以后的效果图中的细节区域明显被加强,裂纹与背景之间的差距变大,方便了后续的处理。由显著性检测方法对未进行滤波的裂纹图片进行识别可得,裂纹区域的定位并不是很准确,且存在较多的非裂纹区。

    Figure 2.  Images After Enhancement

  • 如何使得计算机能够像人类一样,具有很快发现自己感兴趣的区域的能力,是目前很多学者都在研究的问题。目标区域之所以能够从复杂的场景中突显出来,无非是其具有不同于场景中其它的物体的特征,如形状、对称性、亮度、颜色等等或者这几者的结合,这种特性即称之为显著性。显著性检测是基于人类视觉系统研究发展而来的,其目的是为了找到图像中最吸引注意力的部分。

    显著性区域检测技术在图像处理领域应用广泛,如图像压缩、图像检索等。其原理主要分为两大类[5-6]:第一类是没有先验知识的,即直接对图像的信息进行处理,适用于目标区域与周围的区域差别很明显的情况。第二类是具备先验知识的,即先对感兴趣的目标进行样本训练,提取其特征值,利用已有的先验知识检测图像中感兴趣的区域。由于风机桨叶上的裂纹与叶片有较明显的差别,因此本文采用的是第一种方法。

    侯晓迪[7]等提出了一种图像视觉显著性的简单计算模型,这一模型与其它显著性检测模型的不同之处在于,它所关注的区域并不是图像中的突出部分,而是图片的背景区域,通过对图片背景的分析进一步剔除背景,最终得到前景图。程明明[8]等提出了一种基于区域的全局对比方法,即先对图像进行分割,然后分别计算不同区域的显著值,进而生成最终的显著图。

    本文中显著图的生成过程为:

    由于基于时域的显著性检测算法得到的显著性区域完整性较差,而频域算法得到的显著目标边缘又不够清晰,因此通过时域与频域相结合的方法来得到图像的显著性图。

    图像的尺度不变性可以近似地由图像的log谱L(f)来表示。即:

    ((8))

    式中:f为傅里叶变换以后的值;A(f)为傅里叶变换以后的模值。

    由于log曲线满足局部线性条件,所以用平滑滤波器对其进行滤波,得到平均频谱,再由log谱与其进行线性滤波以后的图像做差得到谱残差R(f),即:

    ((9))

    式中:hn(f)是均值滤波卷积核。

    R(f)+j*P(f)取自然指数,对其进行傅里叶反变换以后,再进行高斯模糊滤波,即可得到最终的显著图。其中P(f)是相位谱。

    图3所示的显著图可知,图片背景中的一些噪声点被很好的滤除掉了。

    Figure 3.  the Saliency Map in Comparison with the Image After Enhancement

  • 由于风力发电机桨叶的故障区域的边缘不明确,形状随机多变,特征难以提取和描述,且正样本的数量较少。所以,本文采用连通域原理,对故障区域进行提取。

    得到显著图的二值分割图像以后,对其进行连通域标记。连通域识别处理的是二值图像,图像中只有黑白两种像素点。这里,假设目标为白色,背景为黑色。标记算法的基本原理是,首先依次逐行对被检测的二值图像进行扫描,并对所有的目标像素点进行8连通区域的标记[11],即判断任意一个像素的上、下、左、右、左上、右上、右下、左下方向相邻的像素是否属于同一个区域,同时得到并记录等价标记对。由于扫描的次序的不同会导致一开始被判定为不连通的两个区域经过后面的扫描后又判定为连通,因此用一个修正的标志性的符号,来标记这两个连通域是属于同一个连通域并得到最终的标记结果。

    进行区域标记以后,标记裂纹区域,最终标记图如图5所示。由图5可知,裂纹区域被较好的提取出来了。

    Figure 5.  Marker Image

    Figure 4.  Binary Image

  • 为了证明该方法的优点,将其与用Canny算子边缘检测算法标记的裂纹图进行比较。两种方法使用的都是引导滤波器处理后的图。两种方法的效果比较如图6所示:

    Figure 6.  Before-and-after Effect Map

    图6(a)图6(C)为Canny算子边缘检测算法得到的标记图,图6(b)图6(d)为显著性检测算法得到的标记图。由效果对比图可知,基于Canny算子的边缘检测算法引入了很多噪声点,而基于显著性区域检测的算法则较为清楚全面的标记了裂纹区域。这是因为引导滤波器增强算法在维持边缘特性的同时进行了很好的滤波操作,并增强了目标与背景的对比度,在此基础之上显著性区域检测的算法又对背景区域进行了分析,得到了背景区域的普遍特性,从而更好的分割出了目标区域。得到了较好的标记效果。

  • 本文通过对被测图像进行灰度化处理,得到桨叶的灰度图,并由引导滤波器进行图像增强处理,增强后的图像再经显著性区域检测以后,进行二值分割得到裂痕图像的二值图,最后经基于连通域的裂纹提取算法将风机桨叶上的裂纹提取出来,得到了较为理想的结果。

Reference (11)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return