海上风电平台一般位于水深10 m左右的近海，相较于陆地风电，其具有不受地形地貌影响、风能资源丰富等优点。但是由于大部分风电平台位于渔业资源丰富、经济发达的区域，这些区域通常航线繁忙、船只众多，这给风电平台的安全运行带来了极大的隐患。因此，风电平台需要对所在海域的舰艇、商船、外轮等舰船进行监控与识别，以避免这些目标在作业期间对海缆设施的损坏。如何全面统筹设计、施工、运营及日后运维阶段的船舶进行管理、指挥、调度，是海上风电领域的新课题^[1-2]。

而对于目前普遍的海上风电平台，船舶AIS（Automatic Identification System）以及远距摄像头进行监控，但是AIS方法对于未安装或打开该系统的船只进行识别，而远距摄像头获取的图像信息需要大量的人力进行监控，这样导致整个风电平台的监控系统不够智能化，错过最佳预警时期，导致事故的发生^[3-4]。因此本文旨在设计一种融合计算机视觉与船舶AIS系统的海上船舶融合识别算法，该算法基于改进型Faster-RCNN对远距摄像头拍摄的图片进行船舶检测，并结合船舶AIS系统相关信息对结果进行补充与校正，以提升海上风电平台对于过往船只的监控能力，保障其安全运行。

随着人工神经网络的发展，基于深度学习的图像识别算法在目标检测、图像分割等领域得到了广泛的应用，在船舶识别任务上，国内外研究者也将深度学习方法应用到了该领域，并取得了一定的成果。

在深度学习方面，刘硕等^[5]提出了一种基于改进型SSD算法对船舶进行识别，在该方法中对传统的SSD网络第7层添加了L2正则化，以此均衡该网络中各个卷积层的参数，提高了对于图像中船舶的检测能力；郭延华等^[6]则提出了一种基于极端尺度变化的船舶识别方法，该方法利用多尺度特征融合进行深层的语义提取，并在后续的网络中使用了先验框以及调制损失函数等策略进一步提升了背景的区分度以及模型识别效率；对于遥感图像，陈会伟等^[7]提出了一种基于超尺度自导注意力（Hyper-Scale Self-Guided Attention Networks，HSSGAN）的遥感船舶识别网络，该网络中使用了自导注意力机制逐步细化超尺度特征图，并建立了超尺度局部与全局语义之间的联系，最后通过忽略不相关信息及聚合相关特征的方式提升整体网络的识别精度。

在船舶AIS方面，周雪芳等^[8]提出了一种针对复杂环境下的船舶AIS大数据处理算法，该算法采用分布式架构对船舶AIS数据进行报文解析处理，并利用云计算节点对船舶AIS数据进行计算并保存至分布式数据库；牟军敏等^[9]提出了一种基于Hausdorff距离的船舶轨迹识别方法，该方法首先利用（Douglas-Peucker，DP）算法对船舶AIS数据进行预处理，并基于Hausdorff距离设计了尺度参数的相似度测量方法，通过相似度举证对船舶轨迹进行区分，该方法对于船舶的航路识别以及海事监管都具有较大意义；杨源等^[10]建立了国内首个海上风电场智能船舶调度及人员管理系统，对海上风电场的人员、船舶进行管理、指挥、调度。

根据上文对于国内外研究者的相关研究内容，可以总结出目前对于海上船舶识别任务还有以下两个较大的问题亟待解决：（1）由于海上风电平台采用远距摄像头进行拍摄图像，导致图像中大部分船舶的尺寸较小，而目前大部分目标检测网络对于小目标的检测与识别效率较低；（2）目前大部分海上船舶识别方法采用单一的目标检测方法，导致该任务的精度存在瓶颈。针对上述问题，本文提出了一种结合改进型Faster-RCNN网络以及船舶AIS信息的海上船舶融合检测算法，首先对Faster-RCNN的主干网络以及损失函数等结构进行了调整，改善目前海上风电平台对于船舶的监控能力。

RCNN（Region Convolutional Neural Network）是第1个将卷积神经网络（CNN）引入到目标领域的算法，在该算法中主要思想是通过对大量的候选区域（Region Proposals）进行计算，并利用SVM分类器以及回归器获得目标的精准位置，这样的方法虽然相较于其他方法有加大的提升，但是计算量十分巨大。因此该团队提出了Fast-RCNN模型3个方面的改进：（1）将整张图片归一化处理送入网络，解决RCNN中候选区域大量的冗余计算问题；（2）在整幅图上提取候选区域，并且该候选区域的前几层特征不需要重复计算，这大大减少了训练时间；（3）把类别判断和位置精调统一用深度网络实现，降低了网络训练过程的存储空间^[11]。而Faster-RCNN则是该团队的又一力作，在推理速度以及精度方面均有较大提升，因此本文采用该网络模型作为深度学习船舶图像识别方法的基础网络，下面对该网络进行详细的介绍。

Faster-RCNN的网络结构可以分为4个部分，如图1所示。第一部分，卷积层（Conv layers），即特征提取网络，在原网络中采用VGG16进行特征提取，用于后续RPN层的输入^[12]。第二部分，区域候选网络（Region Proposal Network，RPN），该网络结构有两个任务：（1）判断所有的anchor内是否有目标；（2）修正anchor得到较为准确的候选区域。第三部分对感兴趣区域的池化（ROI Pooling），用于对RPN网络输出的候选区域进行收集，并结合特征提取网络的输出（feature map）送入全连接层进行分类处理。第四部分分类与回归（Classification and Regression），利用商议结构的输出计算出具体类别。

图  1  Faster RCNN网络结构

Figure 1.  Faster RCNN network structure

RPN结构作为Faster-RCNN网络中最为重要的结构，损失计算同样包括分类损失以及边界损失2个部分，如公式1~公式3所示。

式中：

$ {p}_{i} $ ——第i个anchor预测为真实标签的概率；

$ {p}_{i}^{\mathrm{*}} $ ——正样本时为1，负样本为0；

$ {t}_{i} $ ——预测第i个anchor的边界框回归参数；

$ {t}_{i}^{\mathrm{*}} $ ——第i个anchor对应的GT box；

${N}_{{\rm{cls}}}$ ——1个mini-batch中所有样本数量，即256↑；

${N}_{{\rm{reg}}}$ ——anchor位置的个数，约2 400↑。

原始Faster-RCNN网络中采用VGG16作为特征提取网络（backbone），但是由于其特殊的网络结构导致了大量冗余的网络参数，同时在训练过程中导致出现过拟合现象，虽然该网络在2只3次卷积后会通过最大池化下采样对网络复杂度，但是随着网络层数的加深，多次的池化操作会使得特征图的分辨率降低，从而导致网络对于小目标的检测能力降低。因此在本文中采用ResNet、ResNeXt以及MobileNetV2网络对VGG16进行替换。

ResNet的核心思想为残差结构，即通过残差网络增加一个恒等映射，跳过本层或多层运算，同时后向传播过程中，下一层网络梯参数度直接传递给上一层，有效改善了深层网络梯度消失的问题^[13]。ResNet共包含5个stage，其中stage 0由1个卷积层组成，主要负责对输入的预处理，而后续4个stage主要由多个bottleneck组成，负责输入的特征提取，最后通过softmax层进行展平处理。

ResNeXt网络结合了VGG、ResNet和Inception3个经典网络的优秀特性，该网络的bottleneck是从ResNet网络中衍生而来，如图2所示。这样的结构能够有效解决由于网络层数增加而引起的退化问题，并且由于cardinality基数的使用可以在降低超参数复杂度的同时保证网络的准确度^[14]。

图  2  ResNet与ResNeXt网络bottleneck结构

Figure 2.  ResNet and ResNeXt network bottleneck structure

MobileNet的核心思想为深度可分离卷积，该网络折中了网络精度以及网络运行速度方面的性能。深度可分离卷积相较于标准卷积将所有卷积核作用到所有channel中有所不同，它针对每一个输入的channel都有不同的卷积核，卷积核尺寸为1×1。这样的卷积方式与标准卷积由相同的感受野，但是大大地减少了模型的计算量和参数量^[15]。如图3所示，在MobileNetV2中使用了倒残差结构，并且使用了ReLU6作为激活函数避免低维特征信息的损失。

图  3  MobileNetV2中的倒残差结构

Figure 3.  Inverted residual structure in MobileNetV2

Lin等^[16]在密集目标检测（Dense Object Detection）任务中发现一个主要问题是前景和背景类之间的不平衡，为了解决该问题作者提出了一种新的损失函数——焦点损失函数（Focal Loss Function），它是对交叉熵损失（Entropy Loss）的一种修正，目的是在模型能够很好地分类的例子中减少损失的权重。在船舶识别任务中，我们在Faster-RCNN网络最后的分类阶段使用了该损失函数。焦点损失的计算方式如式4所示。

式中：

p_t——与ground truth即类别y的接近程度；

L_f——focal loss焦点损失；

p ——预测概率大小。

船舶AIS系统是一种强制安装在一定吨位以上的船只上的定位识别系统。通过计算机视觉的图像方法能够识别海上风电平台附近约5 km以内的船舶目标，而船舶AIS系统的作用距离约为30 km，因此可以采用该系统作为海上船舶检测补充方法，设计了更加全面的雷达-光电海上船舶融合监控识别系统。

1）使用高精度独立内部时钟的采集卡，保证信号采集的同步，以获得更精准稳定的回波位置。

2）使用基于SWEEP的处理方法，结合先跟踪后探测、非恒定自适应门限等算法实现了快速的全量程全自动跟踪^[17]。目标跟踪器每个天线周扫对目标实际位置参数进行更新，同时基于位置预测推算算法，软件内部每1/8周扫就对目标参数进行更新，几乎达到了对目标跟踪的实时处理。因此，多个雷达、多个跟踪器可以在近似同一时间得到近似相同的目标参数。

3）为了弥补雷达盲区，相邻雷达覆盖区域均有重叠。对于传感器目标会存在目标重合问题，需要对目标进行融合，融合时可能出现非同一目标的融合而造成目标缺失，相同目标的不融合造成目标重复。本系统采用多信息源目标融合技术，根据目标的多种特性判断是否为同一目标进行融合。

数据处理模块即对雷达采集原始船舶AIS数据进行处理并且能够在任何杂波和噪声环境条件下可靠地检测和跟踪目标。

在目标检测和跟踪处理过程中，采用了TBD（Track Before Detection）算法技术，TBD技术较之以前普遍采用的TWS（Track while SCAN）目标检测跟踪技术相比有自己独特的优势，集中体现在信噪比小于1的强干扰背景环境下发现掌握跟踪目标的能力上。该算法的跟踪器将每圈扫描得到的上千个回波（点）都当作“候选目标”进行存储，再采用一个视频门限降低噪声等级，再在后边的几圈中对这些“候选目标”进行确认，由于海杂波、雨杂波以及系统噪声的存在，这些“候选对象”更像虚假目标。正常情况下，候选目标是真实目标的数倍，系统直到质量标准积累到或概率达到预定的标准才将其转为真实目标送至雷达显示器显示。

显示及控制部分是整个系统中的主要用户管理操作界面，能够使得操作员获得系统中的所有信息，并有能力对系统功能进行控制，如图4所示。

图  4  显控终端示意图

Figure 4.  Schematic diagram of display and control terminal

软件系统是以Microsoft Windows为基础的，操作员的操作界面设计是使用了Windows的功能性如多重窗口，菜单，子菜单，工具栏等特点，并且所有的窗口可以自由的移动或隐藏。

对于海上船舶检测任务，目前大部分算法的数据集是卫星拍摄海面的SAR图像，由于本次任务采用光学摄像头拍摄船舶照片并且进行检测，因此这些数据集并不适用于本次船舶检测任务。针对上述问题，本文自制了一款包含约5 000张的光学摄像头拍摄的船舶图像，这些图像的来源包括：（1）海上风电平台拍摄的船舶图像；（2）通过爬虫技术获取的网络图像。利用labelImg软件完成对图像中船舶位置的标记，训练集、验证集及测试集按照7∶2∶1的比例进行划分^[18]。本文数据集部分典型示例如图5所示。

图  5  船舶部分数据集

Figure 5.  Partial ship data sets

为了使得模型能够取得更好的效果，在训练过程中采用了多种方式进行数据增强。这些数据增强方式包括：（1）以0.5的概率进行水平方向的翻转；（2）随机裁剪一个400×400的区域，并在训练期间将其调整为800×800。这样的方式是为了让小目标能够占据图像的较大区域^[19]。

本文首先采用Pytorch框架搭建网络，利用GPU平台对训练过程进行加速。在训练过程中，首先采用迁移学习的方式分别载入MobileNetV2、ResNet50以及ResNetXt101网络在ImageNet数据集上预训练权重，训练过程分为2个部分：前5个epoch的训练中，首先冻结前置特征提取网络权重（backbone），训练RPN以及最终预测网络部分；而在后续的epoch训练过程中，解冻前置特征提取网络权重（backbone），接着训练整个网络权重。同时在训练过程中，学习率采用SGD优化策略，anchor尺寸设置为（32, 64, 128, 256, 512），当训练过程的损失趋于稳定后保存对于模型并进行测试。

根据模型训练过程保存的最优模型在验证集上进行测试，采用查准率（Precision）、查全率（Recall）以及平均准确率（Average Precision，AP）指标对各个模型进行评价，其中查询率表示模型检测的正样本数量占真实正样本的比例，而查准率表示模型检测全目标中真实正样本的比例，而平均准确率表示P-R曲线的面积。针对不同特征提取网络、分类损失函数的Faster-RCNN网络的精度如表1所示。

采用训练好的模型，对数据集中部分数据进行验证与测试，网络对于该任务的识别效果如图6所示，其中图6（a）为船舶正面识别效果，图6（b）为侧面识别效果，该模型能够对图像中的船舶进行识别并将标注位置以及概率。

图  6  船舶识别效果示意图

Figure 6.  Schematic diagram of ship identification effect

根据船舶AIS系统数据处理方法以及相关软件要求，通过对船舶AIS数据进行处理后得到船舶的轨迹如图7所示，可显示目标的历史轨迹点和线，间隔时间可调，每个历史轨迹点都有时间和位置信息。

图  7  船舶轨迹图

Figure 7.  Ship trajectory chart

海上风电的发展风生水起，但海上风电安全管理仍有所欠缺，安全管理处于风口浪尖^[20]。根据文章的实验结果可知，本文所提出的海上船舶融合检测方法是有效的。通过对传统Faster-RCNN的特征提取网络以及分类损失函数进行改进，该网络在船舶识别任务上的精度得到了约5% mAP的性能提升，同时结合船舶AIS数据对其航行轨迹进行了可视化分析，有效地解决了海上风电平台对于附近船舶进行监控的需求。