王 一，龚肖杰，苏 皓,3
（1. 华北理工大学 电气工程学院，河北 唐山 063210；
2. 唐山市金属构件产线智能化技术创新中心，河北 唐山 063210；
3. 唐山市半导体集成电路重点实验室，河北 唐山 063210）
金属制品在实际生产生活中应用非常广泛，金属工件质量的好坏直接影响产品的质量及其寿命，甚至影响产品的实用性及安全性，因此工件的缺陷检测至关重要[1]。传统基于机器视觉的缺陷分割技术有抗噪声差、精度不高并且容易造成过度分割、分割速度较慢等缺点。
随着人工智能技术的快速发展，深度学习在产品表面缺陷识别领域的研究和应用越来越深入和广泛[2]。Wu 等[3]针对肺结节边界难以用一种模型分割的问题，提出一种利用3D-CRF（ conditional random field）优化训练集样本输出的方法分割图像，此方法可以降低模型的丢失率，但是需要采集大量数据集进行训练。Tao 等[4]针对复杂工业环境下金属表面缺陷准确率低的问题，设计了一种用于缺陷分割和定位的级联自动编码器，实现了金属表面缺陷的自动检测，提高了检测的准确性，但是需要花费时间手动标记数据。Zhang 等[5]针对选煤厂清除煤炭中异物依靠人工效率低的问题，设计一个嵌入注意力模块的卷积神经网络，实现了实时从复杂背景中准确地分割出煤炭中的异物，该方法提高了复杂环境中检测出异物的准确性，并提高了异物检测的效率。Li 等[6]针对带钢表面缺陷的复杂性和多样性导致检测准确低的问题，设计了一种全卷积的YOLO 检测网络，此网络样本集包含6 类带钢表面缺陷，可以同时预测缺陷区域的位置及尺寸信息，该方法具有较好的检测效果，但是检测精度还需要进一步提高。徐建桥等[7]针对轴承表面缺陷影响产品性能及寿命的问题，提出先通过规范化拆分方法扩充样本数据集，在利用ResNet 网络训练检测模型，该方法相比利用原图直接训练模型的检测效果更好。Xiao 等[8]针对肺结节的多样性难以准确检测与分割的问题，设计具有多尺度特征提取能力的3D-Res2Net分层连接网络，该方法不仅降低了梯度爆炸和消失的问题，而且提高了肺结节检测和分割的精度及模型的训练速度。卢印举等[9]针对玻璃缺陷的透明性及多样性的问题，设计一种玻璃缺陷图像分割算法，该算法融合了改进的双特征高斯混合模型，可以提高玻璃分割的准确性。Ye 等[10]针对圆柱形金属工件缺陷的复杂性及多样性导致检测准确率低的问题，提出集成注意力的弱监督学习框架，使用图像标签标注训练，实现了金属工件的分类与分割。曹富强等[11]针对当前图像分割算法对于工业铸件缺陷分割精度低的问题，设计了一种Effi-Deeplap 缺陷检测算法，该算法在DeepLabv-3+基础上，将原网络中Xception 模块用MBConv替代，并重新设计空洞空间金字塔池化中空洞卷积的扩张率，从而提高小目标缺陷的分割精度，该算法相比DeepLabv3+具有更好的分割效果。
卷积神经网络虽然具有很强的泛化性，可以自适应地分割不同环境的图像，但是对于一些小目标分割效果不理想。为解决金属工件表面缺陷图像的精确分割，提出一种改进的U-net 型的表面缺陷分割算法，在原网络结构中融入CBAM 模块并在网络编码器结构中采用DO-Conv 替换传统卷积，增强特征的学习，使其能够更高效地对缺陷特征进行提取。采用Leaky Relu 激活函数代替部分Relu函数，解决卷积中Relu 函数的稀疏性问题。为解决非均匀光照对图像分割的影响，设计图像采集视觉平台减少光照的影响，并采用中值滤波及非均匀光照补偿算法处理采集的图像，减少图像中局部反光及非均匀光照，使得图像中光照分布均匀。通过实验证明，改进后的网络平均交并、准确率及Dice 系数相比原始网络均有所提高，对金属工件表面图像缺陷分割效果更好。
1.1 语义分割网络U-net
U-net 网络是基于图像像素级分割的端到端的语义分割网络，原用于医学细胞图像的分割，因其所需数据量少、速度快、检测效果较好，被广泛用于目标检测任务中。U-net 网络结构图如图1 所示。
图1 U-net 网络结构图Fig. 1 Structure diagram of U-net network
U-Net 网络[12]主要包含两个部分：左侧下采样的过程，可称为编码器结构，是模型深化的过程；
右侧上采样的过程，该侧可称为解码器结构，是分辨率恢复的过程。左侧收缩路径经过4 次下采样，执行提取图像特征信息的工作，该过程主要包括3×3 的卷积层、Relu 激活层与2×2 最大池化层，每次下采样提取图像特征，特征通道就增加一倍。下采样过程图像特征是从具体到抽象，因此其图像分辨率会随之降低。右侧扩张路径经过4 次上采样，使分割图像恢复到原图像大小，即在原图像素基础上，通过运用不同的插值算法插入新的元素从而达到图像放大的目的，也就是一个反卷积过程。该过程包括作用于图像尺寸扩大的转置卷积、使特征图通道数减半的3×3 卷积、深层特征与浅层特征的融合过程和把通道映射到需要的目标类别数的1×1 卷积。运用反卷积和同维度特征图的拼接实现了分辨率的提升。
1.2 改进的语义分割网络
1.2.1 注意力机制模块CBAM
CBAM[13]是双重轻量级注意力机制，由通道和空间2 种子模块组成，能嵌入到任何CNN（convolutional neural networks）架构中，增强特征图有用的特征而忽略无关紧要的特征，从而提高网络性能。在U-net 网络中加入CBAM 模块，可以使网络提取出积极有效的特征，CBAM 注意力模块示意图如图2 所示。
图2 CBAM 结构示意图Fig. 2 Structure diagram of CBAM network
在通道注意力模块内，缺陷图像的输入特征图F先进行全局平均池化（average pooling）和全局最大池化（global average pooling）运算，提取高层次特征，得到2 个特征描述后被转送到共享网络，共享网络由含有隐含层的多层感知器组成，将通过感知器的2 个特征图进行叠加，并由sigmoid 函数激活，得到通道注意力输出权值Mc。通道注意力模块的计算公式为[14]
式中：F为输入特征图；
σ为sigmoid 函数；
MLP为多层感知器；
MaxPool(F)与 AvgPool(F)分别表示对特征图F进行全局最大池化和全局平均池化运算。
sigmoid 函数本质是指数分布族，用于隐含层神经元输出，取值范围在(0,1)，是常见的S 型函数，具有平滑、易于求导的优点。其计算公式为
式中：x为 输入变量；
S(x)为 变量x对应的输出。
在空间注意力模块内，将通道注意力加权得到的特征图FC分别沿通道轴做全局平均池化和全局最大值池化运算，将得到的结果串联起来进行卷积降维操作，再由sigmoid 函数激活，得到最终的空间注意图MS。将MS与FC相乘得到最终CBAM输出的显著特征图FCS，空间注意力模块如（3）式所示：
1.2.2 深度超参数化卷积
DO-Conv 的提出主要是通过增加可学习的参数数量，来提高在视觉任务中卷积神经网络的表现。DO-Conv 是通过结合传统卷积层与深度卷积层对输入特征图进行新型卷积操作，其具体公式如（4）式所示：
式中：W为传统卷积层的卷积核；
D为深度卷积层的卷积核；
DT为 深度卷积层的卷积核的转置；
P为输入特征区块；
*表示卷积运算；
°表示点乘运算。
特征组合方式为深度卷积层的卷积核D与输入特征区块P做卷积，再与传统卷积层的卷积核W做运算；
卷积核组合方式为深度卷积层的卷积核的转置DT与 传统卷积层的卷积核W做卷积，再与输入特征区块P做运算。两种组合方式输出结果相同，但是DO-Conv 的卷积核组合方式较为方便，因此采用卷积核组合方式。
1.2.3 Leaky Relu 激活函数
Relu 是卷积神经网络常用的激活函数。当输入非负时，Relu 函数能防止模型训练过饱和，但对输入非正部分有抑制。采用Relu 的变体Leaky Relu函数[15]，对输入为负时，减轻Relu 函数的稀疏性，Leaky Relu 函数公式如（5）式所示：
式中：x为上一层的输出，即激活函数的输入值；
f(x)为 激活函数的输出值；
a表示在（0，1）之间一个较小的常数。当输入小于0 时，给定一个较小的常数a，可保证在此范围内有微弱的输出，梯度能正常传播。
1.2.4 损失函数
适用于多类别分割任务的Lovasz Softmax 损失函数，可以提高泛化能力，它由交叉墒损失函数和指数损失函数组合而成，其公式如（6）式所示：
式中：C为目标类别；
ΔJC()为模型训练产生的损失值；
m(C) 为 像素误差函数；
Loss(f)为 由m(C)构造的代替函数，评价所有类别的平均损失。
1.2.5 改进后的U-net 网络
基于经典的U 型网络，用DO-Conv 代替网络中上采样操作之前的Conv，并将Leaky Relu 函数作为DO-Conv 结构中的激活函数，从而提高网络提取特征的性能。将编码结构中经过卷积模块后的特征图送入CBAM 模块中，并将注意力模块输出的特征图与经过反卷积操作后维度相同的特征图拼接，从而提高网络的抗干扰及其准确定位缺陷区域的能力。改进后的U-net 网络结构如图3所示。图3 中浅蓝色箭头和深蓝色箭头分别表示3×3的DO-Conv 和Conv 操作，紫色箭头表示CBAM 操作，灰色表示为通道相同特征图的拼接操作，红色箭头和绿色箭头分别表示编码器2×2 的最大池化和解码器反卷积操作，黄色箭头表示1×1 的Conv 映射缺陷类别数操作。
图3 改进的U-net 网络结构图Fig. 3 Structure diagram of improved U-net network
2.1 实验设置与数据集
实验平台为基于Windows 10 操作系统，中央处理单元为Intel(R) Core(TM) i5-1035G1 CPU，搭载了NVIDIA MX350 独显，配备16 G内存，使用Anaconda4.10.1 版本的环境管理器，编程软件为Python3.8.8，利用Pytorch 深度学习框架完成实验。实验训练epoch 设为30，学习率设置为0.0001，并选用Adam优化器和Lovasz Softmax 损失函数进行实验。
图像采集视觉平台中工业相机为堡盟CX 系列VCXG-25.1 的CMOS 相机，其像元尺寸为4.8 μm×4.8 μm，相机分辨率为1920 pixel × 1200 pixel。工业镜头选用Computar 公司M1614-MP2 型号，光源选用亮度可调的条形LED 灯。实验时将LED 灯放置在检测对象的两侧，由于凸轮轴是光滑曲面的轴类物体，将灯光源方向与垂直方向形成45°的夹角的照明角度，LED 灯与凸轮轴顶部平齐，采集图像时保持相同光照强度及角度。采取此种照明方式不仅能一定程度减弱因光源造成的高反光，还可以增强缺陷与背景的对比度。采用大光圈、长焦距、小物距减少超景深问题的影响。采集装置一侧放置遮光布将自然光进行遮挡，保证了环境的变量，减少了自然光对图像的影响。图像采集视觉平台如图4 所示。
图4 图像采集视觉平台Fig. 4 Visual platform for image acquisition
实验选用凸轮轴作为实验对象，根据实验条件对凸轮轴表面的污渍、划痕及凹坑3 种缺陷图像进行采集，并分别用bl、sc、sca 字母代表。实验采集了130 张污渍、100 张划痕及100 张凹坑图像，并用lebelme 软件进行标注。通过数据增强将测试图像扩增到1782 张用于训练。采集70 张污渍、54 张划痕、57 张凹坑及17 张无缺陷图像用于测试。相机的分辨率为1920 pixel × 1200 pixel，拍摄的图像为横向长，将图像方向进行了调整，使得采集的图像为纵向长，大小为1200 pixel×1920 pixel。
针对非均匀光照对缺陷图像分割的影响，使用中值滤波和非均匀光照补偿算法结合的方法处理图像，使图像表面光照分布均匀，从而减弱图像表面光照不均匀及高反光现象。光照补偿算法主要思路：先求取原图的平均灰度，然后将图像分成108×108 块，求子块的平均亮度矩阵，再由平均亮度矩阵求得亮度插值矩阵及亮度分布矩阵，最后将原图与亮度分布矩阵做差，最后得到预处理后光照均匀的图像，污渍、划痕、凹坑图像预处理前后对比图如图5 所示。可见，预处理之后的图像光照分布均匀，从而减少了对金属工件表面缺陷图像分割的影响。
图5 图像预处理前后对比图Fig. 5 Comparison before and after image preprocessing
图像经过预处理后，图像尺寸大小不变，在图像进入网络之前利用resize 函数将经预处理的图像缩放成尺寸为512 pixel×512 pixel 的图像，即运用resize 函数中输入图像scr、输出图像大小dsize及双三次插值INTER_CUBIC 3 个参数，使其图像尺寸缩放为512 pixel×512 pixel，则实际输入网络图像大小为512 pixel×512 pixel。
2.2 评价指标
采用平均交并比mIOU、准确率Acc 及Dice相似度系数作为评价指标。交并比IOU 是2 个区域重叠部分与2 个区域集合部分的比值，mIOU 是各类对象交并比的均值。Dice 相似度系数是分割后缺陷图像与标准缺陷图像的重合度。mIOU、Acc、Dice 公式如下：
2.3 实验结果与分析
在相同软硬件环境和数据集条件下，分别将经过图像预处理后含有DO-Conv 的DO-U-net 网络、含有CBAM 的Att-U-net 网络及同时含有DO-Conv和CBAM 的Att-DO-U-net 网络、原始的U-net 网络与图像未预处理的U-net 网络（简称PW-U-net 网络）进行对比实验。各个模型训练阶段损失值变化曲线图如图6 所示，图中的横坐标表示权重更新的次数。可以看出当模型训练到Epoch 值为28时，基本趋于平缓，模型整体收敛性比较好，具有一定稳定性，训练比较成功。
图6 损失值变化曲线图Fig. 6 Variation curves of loss values
通过实验，各个模型的平均交并比mIOU 及准确率Acc 如图7、图8 所示，各个模型的mIOU 及Acc随着迭代次数逐步增加，最终达到较好的结果。PW-U-net 网络的mIOU、Acc 指标分别为0.7969、0.9008，原始U-net 网络的mIOU、Acc 指标分别为0.8045、0.9088，Att-U-net网络的mIOU、Acc指标分别为0.8139、0.9148，DO-U-net 网络的mIOU、Acc 指标分别为0.8254、0.9171，Att-DO-U-net 网络的mIOU、Acc 指标分别为0.8335、0.9332，U-net 网络的mIOU、Acc 指标分别比PW-U-net 网络高0.076、0.080，说明图像预处理可以提升分割效果及准确性。Att-DO-U-net 网络的mIOU、Acc 指标分别比原始U-net网络提升了0.029、0.024，说明改进后的Att-DO-Unet 网络更加关注图像的重要特征，忽略次要信息，可达到更好的分割效果。
图7 平均交并比图Fig. 7 Variation curves of mean intersection over union
图8 准确率Fig. 8 Variation curves of accuracy rate
各模型Dice 指标如表1 所示。Dice 反应网络的分割能力，Dice 值越高则缺陷分割的区域与真实区域越接近，分割效果越好。通过表1 可知，Att-DO-U-net 网络的Dice 达到0.8674，相比另外几个网络均有所提高，分割效果更好。
表1 Dice 指标对比Table 1 Comparison of Dice indexes
各个网络分割结果如图9 所示。通过表1 相似度系数与图9 分割效果对比可以知道，PW-U-net网进行分割的图像，缺陷与边缘分割不准确，被分割部位的边缘不光滑，比较粗糙，图像预处理后用U-net 网络分割效果比未预处理的分割效果好一点。DO-U-net 和Att-U-net2 个网络分割效果比原始U-net 网络分割效果有所改善。本文提出同时加入注意力及DO-Conv 的Att-DO-U-net 网络分割的图像，缺陷边缘更为光滑，分割准确性也有所提升。
图9 分割结果对比图Fig. 9 Comparison of segmentation results
本文提出嵌入CBAM 及DO-Conv 的U-net 网络和中值滤波与非均匀光照补偿相结合的图像预处理方法，实现了非均匀光照条件下金属工件表面小尺寸缺陷的精确分割。在此基础上，设计了图像采集视觉平台，采集金属工件图像。通过一系列的对比实验，改进后的Att-DO-U-net 网络相比原始U-net 网络对缺陷图像的分割更为完整，分割的缺陷边缘更为光滑。借此验证了本文提出的改进后的网络对金属工件表面缺陷图像分割效果相较于原始网络更好。
猜你喜欢光照预处理卷积节能环保 光照万家(公益宣传)中国机械工程(2022年8期)2022-05-09基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02当幻想的光照进童心世界儿童时代·幸福宝宝(2021年1期)2021-03-29从滤波器理解卷积电子制作(2019年11期)2019-07-04春光照瑶乡音乐教育与创作(2019年8期)2019-05-16基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20基于预处理MUSIC算法的分布式阵列DOA估计制导与引信(2017年3期)2017-11-02浅谈PLC在预处理生产线自动化改造中的应用工业设计(2016年11期)2016-04-16络合萃取法预处理H酸废水环境科技(2015年6期)2015-11-08基于自适应预处理的改进CPF-GMRES算法电网与清洁能源(2015年2期)2015-02-28