《道路监控视频低清人脸重建和识别方法》
本文是视频有关毕业论文怎么写与道路和监控和视频和人脸和重建和方法方面在职研究生论文范文.
摘 要： 近年来,视频监控在国防领域和城市管理中起着越来越突出的作用.文章以道路监控视频的低分辨率图像为切入点,利用深度学习方法下的图像超分辨率重建算法,训练超分辨率模型,提高监控视频所记录的低清人脸模型的精度,同时利用FaceNet算法及模型实现低清人脸的识别与检测,从而完善道路视频监控系统低分辨率图像的人脸识别与检测.
关键词： 图像超分辨率重建算法; 超分辨率模型; 深度学习; 低分辨率图像; 人脸识别; 人脸检测
中图分类号：TP391 文献标识码：A文章编号：1006-8228（2020）01-26-04
Abstract： In recent years, video surveillance plays an increasingly prominent role in the field of national defense and urban management. Taking the low resolution image of road surveillance video as the starting point, this paper uses the image super-resolution reconstruction algorithm with deep learning, trains the super-resolution model, improves the accuracy of the low-resolution human face model recorded in the surveillance video, and uses the FaceNet to realize the recognition and detection of low-resolution human face, so as to improve the face recognition and detection of the image from road video surveillance system.
Key words： image super-resolution reconstruction algorithm; super-resolution model; deep learning; low resolution image; face recognition; face detection
0 引言
對于社会治安问题和道路交通事故越来越严重的情况.运用科技手段强化城市道路交通管理成为交通管理部门的迫切需求.
随着科学技术的不断发展,图像超分辨率重建技术和人脸识别技术越发受研究者青睐,大量研究人员通过改进图像超分辨率算法和人脸识别技术,实现图像重建分辨率和人脸识别率的提高,这一研究课题已成为当前图像处理技术的重要研究方向.超分辨率重建技术和人脸识别与检测的发展,强有力地弥补了城市道路监控中传感器硬件方面的不足,能有效地发展和完善道路视频监控系统.
1 图像超分辨率和人脸识别技术的研究历史及现状
1.1 图像超分辨率算法研究历史及现状
超分辨率重建技术具有重要的理论意义和应用价值,成为图像处理、计算机视觉等领域的重大研究课题.
1955年,“超分辨率”首次出现在光学成像领域.1964年左右,“图像超分辨率”被提出.随后,超分辨率重建技术受到广泛的关注和研究.2014年,Dong等人首次将“深度学习”应用到图像超分辨率重建领域,实现了令人惊喜的成效.
1.2 人脸识别的研究历史及现状
人脸识别技术作为一种重要的生物特征识别技术,是模式识别研究方面的热点课题.
近几年,国际上许多项目将深度学习成功地运用到人脸识别中.2012 年,勒尼德·米勒研究小组率先将深度学习用于 LFW（labeled face in the wild）数据库的人脸识别.比较知名的算法有DeepFace、DeepID、FaceNet等,在以上算法中,准确率最高的是FaceNet[1].本课题主要应用FaceNet算法对课题的另一研究对象——图像超分辨率模型进行验证.
2 基于深度学习的图像超分辨率模型的构建
从重建算法角度看,图像超分辨率算法可概括为三大类型：基于插值的算法、基于重构的算法和基于学习的算法[2-3].文章基于学习的超分辨率算法训练图像超分辨率重建模型,从而改善城市道路监控视频图像质量.
2.1 基于深度学习的图像超分辨率重建技术简介
随着人工智能和计算机硬件的不断发展,“深度学习”凭借着强大的拟合能力,应用于各个领域,特别是在图像与视觉领域.
基于深度学习的图像超分辨率技术的重建流程主要包括：①特征提取：对输入的低分辨率图像进行去噪、上采样等预处理,随后送入神经网络提取特征;②设计网络结构及损失函数：搭建网络模型,并根据先验知识设计损失函数;③训练模型：确定优化器及学习参数,通过最小化损失函数提升模型的学习能力.④验证模型：根据训练后的模型通过验证集的相关评判标准对现有模型做出评估和相应的调整.
2.2 重建图像的结果评判标准
对超分辨率重建模型的图像质量进行分析是评价算法好坏以及准确度高低的重要准则,主要包含主观评价和客观评价【4】.主观评价把人眼作为最终接收对象,通过观察对图像最终效果作出主观评定.客观质量评价常用的评价超分的指标分别是是PSNR和SSIM.
2.2.1 PSNR（Peak Signal to Noise Ratio）峰值信噪比
PSNR是最普遍和使用最为广泛的一种图像客观评价指标,它是基于对应像素点间的误差,即基于误差敏感的图像质量评价标准.
2.3 图像超分辨率模型（EDV模型）介绍
文章将所训练的图像超分辨率模型命名为“EDV”模型,该重建模型的网络结构由对称的卷积层——反卷积层构成,通过多个卷积神经网络实现图像的重建,类似编码——解码结构.以下将“EDV模型”与“SRCNN模型”进行介绍与对比.
SRCNN（Super-Resolution Convolutional Neural Network）是深度学习在超分辨率重建领域的开山之作[5-6].当输入低分辨率图像,SRCNN通过使用双立方插值将其放大至目标尺寸,然后利用一个三层的卷积神经网络去拟合低分辨率图像与高分辨率图像之间的非线性映射,最后将网络输出的结果作为重建后图像.
与SRCNN不同,这里所使用的“EDV模型”网络结构由对称的卷积层——反卷积层构成,每个卷积层对应相应的反卷积层,卷积层将数据预处理后,送入神经网络进行特征提取.反卷积层放大特征的尺寸同时恢复图像细节.其网络结构如图1所示.
该模型通过使用多层卷积层和反卷积层获得较大的感受野,理论上,感受野越大,学习的信息越多,准确率越大.另外,多层网络的应用,能实现复杂的非线性映射,使重建效果更好.
2.4 EDV模型训练过程
通过以下内容对图像超分辨率模型——EDV模型训练过程进行介绍.
2.4.1 CelebA数据集简介
CelebA数据集是香港中文大学提供的包含10177个名人身份的202599张人脸图片的开放数据集,该人脸数据集在人脸相关的训练中受到广泛应用.
文章使用CelebA数据集的前两万张图片作为模型训练的数据集,将数据集进行对齐裁剪为128*128格式作为输入.
2.4.2 模型参数设置
该模型“编码”部分由四个卷积层构成,对应“解码”部分由四个反卷积层和两个卷积层构成.各卷积层可看成由多级组成的分级网络,在每一级中,先通过级联的卷积层提取特征,接着通过反卷积层将提取出的特征的尺寸上采样.反卷积层后又接着两个卷积层,一个卷积层的作用是继续提取特征,另外一个卷积层的作用是预测出这一级的残差.该EDV模型的网络结构具体参数见表1.
2.4.3 测试数据集降质过程
由于实验所用测试数据集均为高清图像或清晰度较高的图像,因此需要对其进行降质获得对应低清图像作为模型输入.降质过程如图2所示.
2.4.4 第一种训练方案（方案一）
该EDV模型于Tensorflow平台进行训练,使用CelebA人脸数据集中前两万张图片作为训练集进行训练,训练完成后制作测试数据集,将测试图像做下采样增加噪声获得低清图像,作为模型输入,对应输出SR则为重建高清图像.
2.4.5 第二种训练方案（方案二）
考虑到方案一的模型重建输出图像产生几何形变以及模糊导致重建质量不佳,为提高重建图像与原图像的相似度,考虑对方案一的训练数据集做数据增强.
在对训练数据集做平移、旋转、翻转之后,训练数据集由原来的两万张扩充到八万张,一定程度上增大了训练数据集的数量,同时改善了图像输出效果.
3 人脸识别与检测
3.1 FaceNet简介
FaceNet可以用于人脸的检测,识别和聚类.其方法主要是通过卷积神经网络的学习,把图像映射到欧几里得空间,根据欧式距离大小给图像分类,距离和图片相似度有关.
3.2 基于LFW的精度测试
LFW数据集由美国马萨诸塞大学阿姆斯特分校计算机视觉实验室整理,其包含13233张图片.该数据集常用于研究非限制环境下的人脸识别问题.
经测试验证,预训练模型精度能够达到0.992±0.003,说明FaceNet的人脸识别和检测的准确度较高.
3.3 FaceNet人脸识别与检测步骤
⑴ 搭建人脸库,从网上下载明星图片并分类至对应名字的文件夹.
⑵ 图片预处理,通过mtcnn.py程序实现人脸的裁剪与对齐,实现图片数据都为160*160大小的人脸.
⑶ 下载基于CASIA-WebFace数据集的预训练模型.
⑷ 结合SVM训练人脸识别系统,通过classifier.py用图像算出来的向量数据来训练一个SVM分类器,从而对人的身份进行一个判断,同时在.pkl格式的文件中存储每一个分类.
⑸ 通過predict.py进行人脸识别测试,compare.py进行人脸检测测试.
4 结果与分析
4.1 测试数据集准备
在图像超分辨率重建过程和人脸识别过程,均使用了3.3中搭建的人脸库,从中选择部分图片建立测试集进行测试.
4.2 EDV模型图像重建测试结果
将测试数据集分别通过方案一、方案二重建模型进行测试,测试结果如图3.
通过人眼主观视觉对比两个方案的重建图像可以发现,图像增强后的输出图像在形变和模糊程度有一定减少,眼部等高频细节较增强前有明显改善.
4.3 人脸识别测试结果
经predict.py测试,方案一、方案二可以准确识别身份.
4.4 人脸检测结果
选取超分辨率模型的部分测试图像进行人脸检测分析,见图4.此处仅使用方案二的输出结果,经过compare.py代码的测试,重建模型输出的图像能准确进行人脸检测.
4.5 结果对比与分析
4.5.1 主观图像质量评价
图5是对上述两个训练方案进行部分图像对比的结果.通过人眼视觉判断输出图片的效果可以看出,在对训练数据集做了数据增强之后,重建图像有了明显改善.
4.5.2 客观图像质量评价
由测试结果可知,两种训练方法都可以做到低清重构的人脸识别,但是精度有一定差别,见表2-表3.
由测试结果可见,方案二的主观图像质量评价,以及经过图像增强后的重构精度和识别结果都优于方案一.人眼主观评价来看,即方案二的清晰度提高、失真减少.从客观测得数据来看,方案二的PSNR与SSIM值小幅提高,阈值大幅减少.
5 结果与分析
随着人们安全需求的提高,监控视频中的人脸识别准确度也需要提高,然而大多数监控视频中人脸的清晰度通常较低,识别准确度存在一定的问题.本文基于Tensorflow的深度学习方法,研究了低清人脸的重构、检测与识别,提高了一定的识别准确度,这对城市低清道路监控系统有重要意义.该模型在多角度人脸的重构、识别检测上还存在一定局限性,需改进,此外,将其应用到视频中进行跟踪、捕捉也是进一步研究的方向.
参考文献（References）：
[1] Florian Schroff, Dmitry Kalenichenko, James Philbin. FaceNet：A unified embedding for face recognition and clustering[C].In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2015. 815-823
[2] Chang H,Yeung D Y,Xiong Y.Super-Resolution through Neighbor Embedding[C]// null.IEEE Computer Society,2004.
[3] LertrattanapanichS,Bose N K.High resolution image formation from low resolution frames using delaunay triangulation[J].IEEE Transactions on ImageProcessing,2002.11（12）：1427-1441
[4] 张漫.图像质量评价算法的研究[D].山東大学,2007.
[5] 孙玉宝,张铮嵘,韦志辉,et al.基于稀疏表示的图像超分辨率重建快速算法[J].系统工程与电子技术,2010.32（12）：2696-2700
[6] 刘永信,段添添.基于深度学习的图像超分辨率重建技术的研究[J].科技与创新,2018.119（23）：46-49
[7] 方振宇.图像超分辨率重建技术的研究及应用[D].武汉理工大学,2012.
[8] 贾亮.图像超分辨率重建技术研究[D].南京航空航天大学.
言而总之：此文是关于对写作道路和监控和视频和人脸和重建和方法论文范文与课题研究的大学硕士、视频本科毕业论文视频论文开题报告范文和相关文献综述及职称论文参考文献资料有帮助.
视频引用文献:
[1] 视频监控论文范文 视频监控有关电大毕业论文范文2万字
[2] 视频论文范文 关于视频相关毕业论文格式范文5000字
[3] 视频网站论文范文 关于视频网站方面硕士毕业论文范文2万字
