《基于高效视频编码的运动估计算法综述》
该文是关于视频编码类研究生毕业论文范文跟高效和视频和编码相关专科毕业论文范文.
摘 要： 运动估计是高效视频编码标准中的重要技术,通过帧间的运动矢量估计有效地减少视频中的时间冗余,进而提高视频编码的压缩效率.文章分析了运动估计算法的基本原理,将算法划分为空域和频域两大类,并进一步将空域类算法细分为块匹配法、光流法、像素递归法和贝叶斯法等,将频域类算法分为相位法、离散余弦变换法和小波域法,详尽地讨论了在高效视频编码应用过程中各种方法的优缺点.最后,对基于高效视频编码的运动估计算法进行总结,探讨了发展趋势.
关键词： 视频编码; 空域; 频域; 运动估计算法
中图分类号：TP391 文献标识码：A 文章编号：1006-8228（2020）01-01-04
Abstract： Motion estimation is an important technology in high efficiency video coding standard. Motion vector estimation between frames can effectively reduce the time redundancy in video and improve the compression efficiency of video coding. This paper analyzes the basic principle of motion estimation algorithm, divides the algorithm into two categories, i.e. spatial domain and frequency domain, and further subdivides the spatial domain algorithm into block matching method, optical flow method, pixel recursive method and Bayesian method, and divides the frequency domain algorithm into phase method, discrete cosine tranorm method and welet domain method. The advantages and disadvantages of the application of various methods in efficient video coding are discusses in detail. Finally, the motion estimation algorithms for high efficiency video coding are summarized, and the corresponding development trends are discussed.
Key words： video coding; spatial domain; frequency domain; motion estimation algorithm
0 引言
在如今的信息化時代,三维影像、超高清视频和虚拟现实等视频服务需求日益增长,高清晰度视频的编码和传输日益成为研究的热点问题.高清视频有冗余度高、信息量大等特点,为了使其能满足网络领域内的传输和储存要求,必须先对视频数据进行压缩,再进行传输和储存.运动估计（Motion Estimation,ME）算法是HEVC（High Efficiency Video Coding）视频编码过程中最为关键的算法,它占用了整个视频编码一半以上的计算量和绝大部分的运算时间,是决定视频压缩效率的主导因素.
本文通过对运动估计算法进行探讨,阐述了各种算法的基本原理,将算法主要划分为空域和频域两个大类.如图1所示,在空域算法中,根据最佳匹配块选取方法的不同来细分;在频域的算法中,又根据频域变换方法的不同来细分.
通过对运动估计算法的综述,能够为视频压缩技术的深入研究提供参考,具有重要的意义.
1 空域运动估计算法
目前,HEVC运动估计算法中常用的空域方法有：块匹配法、光流法、像素递归法和贝叶斯法.
1.1 块匹配法
1.1.1 块匹配法理论基础及准则
图2可简要表明块匹配算法的基本原理：设当前帧中的待匹配的子块为A,对应于前一帧中的相同坐标位置区域为虚线块A’,且在前一帧中以A’为中心的搜索区域设定为B.块匹配的过程就是在B中寻找一个与A最相似的子块C,C与A的坐标偏移V是估计得出的运动矢量.
1.1.2 块匹配搜索策略
块匹配搜索策略的选择对运动估计的速度和准确性都有极大的影响.目前HEVC中块匹配搜索策略可主要有整像数和分像数两大类.其中,经过改进的整像素块匹配法有着良好的压缩效率,分数块匹配法有着更高的精度.
（1） 整像素块匹配法
此类算法从运动矢量分布角度,提出了新三步法（NTSS）[3]和新四步法（NFSS）[4]等.新三步法和新四步法主要是解决在运动较小的情况下,因第一步搜索步长设置过大,难以找到最佳匹配点的问题;从搜索模式角度,Abdelazim等[5]提出了一种改进的法搜索,先用相位相关法来找出编码单元的近似偏移中心,再采用9点菱形搜索在偏移中心找到最佳匹配块;从相邻块相关性角度,王佳利等[6]提出一种基于UMHexagonS算法,根据时间预测矢量和空间预测矢量的位置关系确定搜索方法,得到局部范围最佳匹配点后,利用矢量相关性继续展开搜索.相比之前,这些方法更有效地利用相邻块相关性,减少搜索点数、提高搜索效率、增强了算法的鲁棒性和降低了陷入局部最优的可能性.
（2） 分像素块匹配法
自然物体的运动具有连续性,运动矢量往往不会恰好是整数像素单位,在实际视频中也并不存在分数像素处的样值.为保证像素精度,在HEVC中对亮度的运动补偿精度采用分像素技术,采用的运动矢量精度是亮度1/2和亮度1/4像素内插、色度1/8像素的内插,并使用了更科学的插滤波抽头值.
Jia等[7]采用亚像素的运动估计算法,跳过平滑部分的亚像素搜索过程,并且根据视频中的纹理方向来进行搜索,进一步减少计算复杂度;陆寄远等[8]提出尝试整合分像素插值和分像素运动估计的方法,把分像素插值的代价融合在分像素运动估计中,构建区域分像素集的插值算法,只动态地计算在运动估计中用到分像素.此类算法有更精确的运动矢量和较小的计算复杂度.
1.2 光流法
为提高光流法运动估计效率,秦晓波等[11]提出一种优化的HS算法,在图像检测中得到的Harris角点,结合块匹配运动估计确定感兴趣区域,将此区域作为光流法初始运动矢量.虽然光流法能有效得到运动矢量,但存在计算复杂度高、耗时长、实时性差和存在将变化光线当成光流的可能性.因此,一方面可降低算法计算复杂度来减少计算时长,提高实时性;另外一方面还需增强算法的抗干扰性.
1.3 像素递归法
HEVC中的像素递归法采用递归思想,对物体位移引起的像素数据变化,在梯度方向的像素周围进行像素迭代运算,使连续运算收敛于一个运动矢量,每个像素都对应一个运动矢量,每个像素的运动矢量都需要由递归得出,如下式所示：
为了提高视频的清晰度,Haan等[12]将像素递归搜索引入到运动估计算法中,使运动估计的运动矢量计算达到了亚像素精度;Tashlinskii等[13]提出利用随机梯度法对所有像素点进行运动估计的方法,先采用梯度下降法对节点逐行处理,再利用行间的相关性提高行处理效率.然而,此类方法计算复杂度大、在物体运动剧烈快速情况下的实时性差.
1.4 贝叶斯法
贝叶斯法是Bayes于1763年提出的一种基于概率统计知识对数据分类的算法.此类算法在HEVC中,一方面,通过利用相邻块的运动矢量来自适应地选择最佳搜索模式[14],合理利用计算资源;另一方面,根据相邻块的相关性和贝叶斯算法结合,制定提前终止策略,减少无效的搜索次数.
为减少运动估计算法的复杂度和提高计算速度,Shen等[15]提出基于贝叶斯决策规则的编码单元尺寸决策算法;Shen等[16]提出基于贝叶斯决策规则的变换单元尺寸决策算法,它们根据残差系数和块相关性给出提前终止算法,避免对所有编码块和变换块的尺寸穷尽搜索.此类算法将贝叶斯理论与运动矢量预测结合,既提高了预测精度,又减少了算法的计算量.
2 频域运动估计算法
HEVC中的頻域运动估计算法,可直接从相位相关图中得出更平滑和精确的运动矢量预测,加强了视频的流畅性;且不用考虑时域变化对运动矢量预测的影响,有着良好的稳定性;另外,频域法的理论简单、计算复杂度低、可实现并行处理.
2.1 离散余弦变换法
基于离散余弦变换（DCT）的运动估计方法,可对图像进行有损压缩.通过计算DCT中的虚相位移,利用正弦正交原理从一维信号中估计出运动物体位移,再根据二维平移运动模型,进一步推广到二维图像中.该算法可给编码器提供更多的空间进行高度并行操作.
为提升频域算法的效率,Iail等[17]提出了一种采用DCT变换进行频域复变换,通过相位相关平面计算出运动矢量的方法,与块匹配法结合使用.然而,基于DCT的方法,目前的压缩效率还不足以支持庞大的视频数据传输,抗误码性也不够好,在运动估计中应用并不广泛.
2.2 相位法
相位法是一种基于傅里叶变换的频域运动估计方法,利用傅里叶变换估算块位移,能同时对多个目标进行检测且可以避免光照的干扰,可减少计算复杂度,提高运动估计速度,并较好的保持视频编码的压缩比和运动图像质量.
余应淮等[18]提出一种基于核回归修正上采样的相位相关法,通过检测上采样相位相关曲面的峰值坐标来实现亚像素运动估计,再用核回归方法拟合初始估计值的邻域,最后通过检测拟合函数的峰值,对初始估计值进行修正;Podder等[19]提出利用相位相关法得到当前块和参考块之间的运动信息,再根据运动信息选择最佳的搜索模板.此类方法可减少运动估计的时间,并有着良好的鲁棒性.
2.3 小波域法
Koga[20]于1991年提出小波域运动估计算法,该方法比DCT法有更高的压缩比、更强的抗误码性、并能支持渐进传输.
张磊等[21]提出一种采用双高通滤波新型小波域的运动估计法,比传统小波域算法的计算复杂度更低,运动估计性能更好;宋传鸣等[22]提出像素预测起点搜索的小波域运动估计,采用非均匀搜索起点搜索模板搜索初始运动向量,减少小波变换中移变产生的影响.该方法可在预测精度和计算复杂度之间达到平衡,避免发生算法精度高而增加计算复杂度,或减少计算复杂度而牺牲算法精度的情况.
3 结束语
本文结合运动估计的基本原理对运动估计算法进行了综述.块匹配法依旧会是近几年的主流方法,其中改进的搜索算法因计算速度快、计算复杂度小、算法简单且容易在硬件平台上实现的特点继续受到众多研究者的青睐;光流法因其良好的跟踪效果,在交通监控和室内监控中有很好的效果;而像素递归法中的高精度特性适用于高清图像;相位法不太依赖时间相关性,在运动复杂无规律的视频中会有不错的效果;小波域法能考虑人眼对频带的敏感性,可在未来的电影电视中广泛应用.根据视频需求,合理利用各种方法的特点对视频进行压缩,可有效地利用资源以满足当前对视频处理的巨大需求.
总之,运动估计算法有着广泛的应用领域,在工业领域,可用于过程监控和动态测量,在医学领域,可用于心脏运动和血流的研究,在交通领域,可用于交通路况监控,在多媒体技术领域,可用于视频压缩等.此类算法的应用有着巨大的前景.
参考文献（References）：
[1] 朱秀昌,刘峰,胡栋. H.265/HEVC：视频编码新标准及其扩展[M].北京：电子工业出版社,2016.
[2] 向友君, 雷娜, 余卫宇等.运动估计算法匹配准则研究[J]. 计算机科学,2009.36（9）：278-280
[3] Li R,Zeng B,Liou M L.A new three-step search algorithm for block motion estimation [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2002.4（4）：438-442
[4] Wang K T,Chen O T C.Motion estimation using an efficient four-step search method[C]//IEEE International Symposium on Circuits & Systems.1998.
[5] AbdelazimA,Hamza A,Hefeida M,et al.Diamond frequency domain inter frame motion estimation for HEVC[J].2017.
[6] 王佳利,姜珊,雙凯.基于时空预测向量相关性的运动估计算法[J].计算机工程与科学,2014.36（3）.
[7] Jia S,Ding W,Shi Y,et al.A fast sub-pixe estimation algorithm for HEVC[C]//IEEE International Symposium on Circuits & Systems. IEEE,2016.
[8] 陆寄远,刘宇熹,侯昉等.HEVC的高效分像素运动补偿[J].软件学报,2017.28（8）：2214-2226
[9] Horn B K P,Schunck B G. Determining Optical Flow[M].1980.
[10] Lucas B D,Kanade T.An iterative image registration technique with an application to stereo vision[C]//International Joint Conference on Artificial Intelligence. 1981.
[11] 秦晓波,柴志成.基于运动估计优化的HS光流算法研究[J].四川大学学报（自然科学版）,2014.51（4）.
[12] Haan G D,Biezen P W A C.Sub-pixel motion estimation with 3-D recursive search block-matching[J].Signal Processing：Image Communication,1994.6（3）：229-239
[13] Tashlinskii A G,Smirnov P V,Tsaryov M G.Pixel-by-pixel estimation of scene motion in video[J].ISPRS-International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences,2017,XLII-2/W4：61-65
[14] Tohidypour H R,Pourazad M T,Nasiopoulos P.A low complexity mode decision approach for HEVC-based 3D video coding using a Bayesian method[C] //International Conference on Acoustics,Speech and Signal Processing （ICASSP）. IEEE,2014.
[15] Shen X,Lu Y,Jie C.Fast coding unit size selection for HEVC based on Bayesian decision rule[C]// Picture Coding Symposium. 2012.
[16] Shen L,Zhang Z,Zhang X,et al.Fast TU size decision algorithm for HEVC encoders using Bayesian theorem detection[J]. Image Communication,2015.32（C）：121-128
[17] Iail Y,Elgamel M A,Bayoumi M A.Fast Variable Padding Motion Estimation Using Smart Zero Motion Prejudgment Technique for Pixel and Frequency Domains[J].IEEE Transactions on Circuits & Systems for Video Technology,2009.19（5）：609-626
[18] 余应淮,谢仕义,梅其祥.基于核回归修正的上采样相位相关精确运动估计算法[J].计算机应用,2016.36（8）：2316-2321
[19] Podder P K,Paul M,Murshed M,et al. Fast Intermode Selection for HEVC Video Coding Using Phase Correlation[C]//International Conference on Digital Image Computing： Techniques & Applications. 2015.
[20] Koga T.Motion-compensated welet tranorm coding for color video compression[C]//Visual Communications,Boston,Ma. International Society for Optics and Photonics,1991.
[21] 张磊,涂国防.一种新型小波域运动估计算法[J].电子与信息学报,2007.29（5）：1131-1135
[22] 宋传鸣,谭茹,王相海等.结合低位深像素预测起点的小波域运动估计[J].计算机研究与发展,2013.4：776-786
上文汇总:上述文章是关于高效和视频和编码方面的相关大学硕士和视频编码本科毕业论文以及相关视频编码论文开题报告范文和职称论文写作参考文献资料.
视频编码引用文献:
[1] 视频编码论文范文 视频编码学年毕业论文范文2万字
[2] 编码论文范文 编码方面毕业论文格式范文5000字
[3] 视频监控论文范文 视频监控有关电大毕业论文范文2万字
