作者简介:赵家琪(1996—),男,河南,硕士研讨生,首要研讨方向为机器学习、深度学习、核算机视觉。E-mail:。
尊贵(1981—),男,湖南,西南交通大学地球科学与环境工程学院教授,博士生导师,国家优秀青年科学基金取得者,首要研讨方向为拍摄丈量与遥感、雷达信号处理等。
摘要:随同深度学习的不断开展,深度学习的方针检测办法被广泛运用。根据特征交融的思维,本文提出了一种办法,经过添加卷积模块及调整部分超参数对其网络架构进行优化,以完成对路途车辆方针的快速检测、辨认和定位。首要为了改善YOLOv4-tiny网络对小方针类型检测精度差的问题,根据特征金字塔网络对第二标度输出层的最终一个CBL输出特征与网络中第二个CSP输出特征进行交融,并在原有网络的根底上添加52×52的标度输出;其次,运用搬迁学习权重在自己收集的数据集上进行试验,练习得出适宜的权重进行测验。试验成果表明,与YOLOv4-tiny比较,改善后的网络结构相对YOLOv4-tiny的AP进步4.4%、召回率(Recall)进步4.6%、准确率(Precision)进步8.4%,且能够准确检测并定位车辆的方位。
随同近几年人工智能的快速开展,以及深度学习技能的不断打破立异,智能交通体系已经成为社会的开展趋势。国家要完成交通体系的智能化和自动化运转,就要将很多的交通信息运用核算机视觉技能进行处理,例如车牌辨认、车辆辨认与流量核算、无人驾驭等[1]。现在,深度学习技能被广泛运用到方针检测范畴。为了进步驾驭的快捷性和安全性,自动驾驭技能被广泛注重并面向了商业化,高档驾驭辅佐体系(ADAS)得到了广泛的运用,ADAS 能够完成路途检测与车辆方针检测等多种功用。因而,高效准确的车辆方针检测技能对才智交通体系的开展起到了至关重要的作用。现在,根据核算机视觉的方针检测算法分为传统的方针检测算法和根据深度学习的方针检测算法[2]。传统的方针检测算法是根据机器学习的分类器与人工提取的部分特征相结合的算法,首要包括提取特征和分类两个方面,提取的特征通常是梯度方向直方图或类harr 特征,结合支撑向量机或AdaBoost 进行方针检测。运用传统的根据机器学习的办法提取特征需求人为规划特征,简单丢失信息然后形成差错,不能满意高精度和高检测速度的场景。与传统的方针检测算法比较,根据深度学习的方针检测算法具有更高的准确率、更快的检测速度和更强的鲁棒性。因而,越来越多的深度学习办法被不断运用到方针检测范畴[3-6]。根据深度学习的方针检测办法包括两阶段(Two stage)方针检测算法[7]和单阶段(One stage)方针检测算法[8],两阶段算法是对图画生成或许包括方针的候选区域(region)用卷积神经网络(CNN)对候选区域进行分类,精度很高,但速度方面欠佳。两阶段方针检测算法包括R-CNN、Fast R-CN、Faster R-CNN、根据区域的全卷积网络(R-FCN) 等,尽管两阶段法比一阶段法具有更高的精度,但一阶段法比两阶段法具有更快的检测速度[9-10]。单阶段检测算法方针检测以整张图作为输入,在特征层输出边框方位和所属的类别,然后转变为一个回归问题。YOLO(The You Only Look Once)[11]算法是Redmon 等人提出的第一个根据回归的单阶段算法,之后Redmon 等人又提出了根据YOLO 算法的YOLOv2算法[12],删去了彻底连通层和最终一个聚集层,运用锚点框来猜测鸿沟框,并规划出DarkNet-19 的新根底网络。YOLOv3[13]是Redmon 等人提出的YOLO 办法的最终一个版别。它引入了特征金字塔网络、更好的根本网络darknet-53 和二进制穿插熵丢失,以进步检测精度和检测较小方针的才能。因为YOLOv3 选用的信息交融类型没有充分运用初级信息,这是约束其在工业中潜在运用的一个缺点。因而,Alexey 等人提出了YOLOv4 算法,它运用CSPDarknet53 主干、空间金字塔池模块、PANet 途径聚合颈和YOLOv3( 根据锚点) 头作为YOLOv4 的架构。以上根据深度学习的方针检测算法在方针检测范畴尽管取得必定作用,但其在智能交通范畴针对小方针的检测依然不行精准。本文经过对路途车辆方针图画进行剖析,结合最新的YOLOv4-tiny 算法并对其模型进行合理优化,完成了对路途图画车辆方针的快速准确检测。
Yolov4-tiny[14](You Only Look Once vision4-tiny) 算法是在Yolov4 算法的根底上规划的,使其具有更快的方针检测速度,运用1080Ti GPU, Yolov4-tiny 的方针检测速度可到达371 帧/s,精度能够满意实践运用的要求。Yolov4-tiny 算法运用CSP Darknet53-tiny 网络作为主干网络来替代Yolov4 算法中运用的CSPDarknet53网络,空间金字塔池(SPP) 和途径聚合网络(PANet) 也由特征金字塔网络(FPN) 替代,以削减检测时刻。此外,它还运用了两个标准的猜测(26×26 和13×13),而不是3 个标准的猜测。CSPDarknet53-tiny 网络在跨级部分网络中运用了CSPBlock 模块,在剩下网络中运用了ResBlock 模块。CSPBlock 模块将特征映射分红两部分,经过跨阶段残差边际将两部分进行组合,这使得梯度流能够在两种不同的网络途径上传达,添加梯度信息的相关性差异。与ResBlock 模块比较,CSPBlock 模块不只能够进步卷积网络的学习才能、核算精度,并且还能够削减核算量。消除了ResBlock 模块中核算量较大的核算瓶颈,进步了Yolov4-tiny 办法在常数情况下的精度,削减了核算量。为了进一步简化核算进程,Yolov4-tiny 办法在CSPDarknet53-tiny 网络中运用Leaky ReLU 函数作为激活函数,而不运用Yolov4 中运用的Mish 激活函数。在特征交融部分,Yolov4-tiny 办法运用特征金字塔网络提取不同标准的特征地图,进步了方针检测速度,而不运用Yolov4 办法中运用的空间金字塔池化和途径聚合网络。与此一起,Yolov4-tiny 运用了13×13和26×26 这两种不同标准的特征地图来猜测检测成果。假定输入图的巨细为416×416,特征分类为80,Yolov4-tiny 网络结构如图1 所示。Yolov4-tiny 办法的猜测进程与Yolov4 办法相同。首要调整输入图画的巨细,使一切输入图画具有相同的固定巨细;其次将输入图画划分为巨细为S×S 的网格,每个网格运用B 个鸿沟框检测方针,因而输入图画会生成S×S×B 的鸿沟框,生成的鸿沟框覆盖了整个输入图画。假如某个方针的中心落在某个网格中,网格中的鸿沟框将猜测该方针,为了削减猜测进程中鸿沟框的冗余,提出了相信阈值。假如鸿沟框的相信值高于相信阈值,则鸿沟框坚持不变;不然边框将被删去。围住盒的相信值可得如下:
表明猜测框与实在框在并集上的交集。可比性得分越大,猜测框就越挨近地面线-tiny 的损耗函数与Yolov4 相同,都是由方针框丢失Lcoord 、相信度丢失Lcoin 和分类丢失Lclass 三部分组成,公式如下所示:
其间IOU 是猜测框和实在框之间的交集并集, wgt和hgt分别为实在框的宽度和高度,W和h分别为猜测框的宽度和高度,ρ 2 (b,bgt)为猜测框中心点与实在框中心点之间的欧氏间隔,C是能包括猜测鸿沟盒和真值鸿沟盒的最小对角线-tiny改善模型
关于卷积神经网络,不同深度的卷积层对应不同等级的特征信息。初级网络具有更高的分辨率和更具体的特征,而高档网络具有更低的分辨率和更多的语义特征。为了使更深层次的网络一起包括丰厚的语义特征和图画外表特征,咱们根据
思维改善了YOLOv4-tiny的网络架构,在原有的结构根底上添加了52×52 份额的输出,使切割图画的像元变小,这有助于进步小标准物体检测的精度。改善的YOLOv4-tiny网络架构如图2 所示。其间实线-tiny 网络架构,虚线代表咱们改善后的网络。1)添加52×52 的标度输出
咱们提取了间隔第二输出最近的CSPBlock 卷积层的输出信息,因为在网络中的深层方位,其包括了丰厚的语义信息。此外,提取包括图画丰厚外表信息的浅层CSPBlock 的输出。
将A 部分提取的两个输出送入1×1×128 的CBL,输出巨细为26×26×128,之后是上采样层,将其巨细改为52×52×128。然后将输出成果送入concat层进行交融,交融后的特征图巨细为52×52×256。这些交融的特征图被处理成3×3×256 的CBL,用于进一步的信息提取。
③添加一个输出标准将B 节中取得的交融特征图经过1×1×255 的Conv层,再添加一个52×52×255 的输出。在YOLOv4-tiny中, 网络具有13×13 和26×26 的输出。在改善的YOLOv4-tiny 中,咱们添加了52×52 份额的输出,使切割图画的像元变小,这有助于进步小标准物体检测的精度。
为优化后的 YOLOv4-tiny 丢失函数; N 为匹配到方针区域的Default Box 的数量; α 为用于调整方针框丢失Lcoord的份额(α初=1 )。方针检测算法流程如图3 所示:
本文运用的车辆方针数据集是运用摄像设备在路途上收集得到,并运用图片标志东西(label Img)对数据集进行标示。经过对图画中的车辆方针用矩形框符号,符号后的图片将以XML 文件存储,作为对应练习图片的标签。数据由练习集、测验集、验证集3 部分组成(如图表2 所示),共运用8 000 张图片进行练习,对已符号好的图画进行收拾,以XML 文件作为对应图片练习的标签,存储了3 个特点:Label、Pixels、Usage。
在这篇文章中,咱们所用的数据集都是自己在路途中收集的,之后对数据集进行标签处理。该数据集包括6 500 张练习集和1 200 张验证集,最终从300 张测验会集随机抽取2 张图画分别用YOLOv4-tiny 和改善后的YOLOv4-tiny 模型进行测验,测验作用如图4 和图5 所示。从图4、图5 能够看出,经过对YOLOv4-tiny 与改善后的YOLOv4-tiny 模型进行检测作用比照,YOLOv4-tiny没有将图画中的小方针检测出来,改善后的YOLOv4-
文章将提出的办法与YOLOv4、YOLOv4-tiny 进行比较,测验它们在检测作用准确率P(Precision)、召回率R(Recall)、AP 的功能。其公式可表明为:
其间,FP(False Positive)是实在类别为负,猜测类别为正;FN(False Negative)是样本实在类别为负,猜测类别为负;TP(True Positive)是样本实在类别为正,猜测类别为正;TN(True Negative)是实在类别为正,猜测类别为负。
为了进步对小方针的检测作用,文章提出了一种改善的YOLOv4-tiny,将YOLOv4-tiny 提取的高档卷积特征和初级卷积特征进行交融,添加52×52 标准的输出,并运用K-means 聚类办法在数据集上生成检测结构的锚框。经过将数据集在改善前后的网络上练习,并进行比照测验。试验成果表明,改善后的YOLOv4-tiny 与YOLOv4 比较,各项方针表都比较低;改善后的YOLOv4-tiny 与YOLOv4-tiny 比较,准确率(Precision)进步了8.4%,召回率(Recall)进步了4.6%,AP 值进步了4.4%。与YOLOv4-tiny 比较,改善后的YOLOv4-tiny能够较好地检测出图画中存在的小方针。