数字视频编码

课程内容：

1. 视频编码算法（重点）
2. 运动搜索算法（了解）
3. 视频编码标准（自学、了解）

视频编码算法

时间冗余：

视频序列的相邻图像之间存在很大的相关性，也就是相似性，由于这种相关性是在时间上前后帧之间发生的，所以被称为时间冗余（Temporal Redundancy）。

视频压缩编码的基本原理：

对于相关的视频图像，发送端不一定必须把每帧图像上所有的像素都传给接收端，而只要将图像内容（或摄像机）的运动信息告知接收端，接收端就可以根据运动信息和前一帧图像的内容来更新当前帧图像，这就比全部传送每帧图像的具体细节所需的数据量要小得多。

编码器首先需要将视频图像分成三种类型：

1. 第一种是帧内编码图像，又称I帧（Intra pictures），帧内编码算法就是JPEG；

2. 第二种图像被称为P帧（Predicted pictures），P帧就是指对其施加预测编码的图像，这里的预测编码是通过首先为待编码图像（也就是P帧)确定一个预测图像（又称参考图像）例如帧，再计算编码图像与预测图像之间的差值，并进一步压缩差值的一种编码方法。显然，这里的预测编码与我们熟悉的差分PCM技术类似。

3. 第三种图像被称为B帧(Bidirectional prediction)，其中B取自英文Bidirectional一词的首字母，意思是“双向的技术上，B帧就是指对其施加双向预测编码的图像。双向预测编码是通过为待编码图像（也就是B帧)确定两个预测图像（这就是双向之意的来源例如相邻的I帧和P帧，再计算编码图像与这两个预测图像之间的差值，进而计算两个差值的平均值，最后压缩平均差值的一种编码方法。

宏块：

将图像分为大小为16x16像素的块。

预测编码的基本过程：

计算编码图像与预测图像之间的差值并不是直接对两幅图像进行相减运算，而是将待编码图像分割成若干块，然后以块为单位逐块进行相减运算完成的通常图像被分割成大小为16x6像素的块，我们称这种图像分块为宏块（即包含了四个8x8块的更大的块）

编码处理流程：

1. 在参考图像中搜索出与编码图像宏块最相似的宏块(又称最佳匹配宏块)；

2. 计算两者的差分值（又称残差）；

3. 对差分值进行正交余弦变换（即DCT运算）；

4. 对结果进行行程压缩；

5. 最后进行Huffman编码，即输出压缩的块数据（这些压缩数据块还需要按照规定格式进行文件或比特流层面上的编排)。

整个视频压缩算法中，差分运算实际上借用了DPCM的思想，而后续处理则借用了PEG的相关技术。

预测计算处理

预测计算处理的关键是搜索出最佳匹配宏块。

在参考图像中搜索出最佳匹配宏块的计算过程称为运动估计（Motion Esitmation,ME)。

参考图像中最佳匹配宏块相对于编码图像宏块基准位置的偏移量（水平方向的为△x,垂直方向上为△y)称为运动向量(Motion Vector,MV)。

运动向量是非常重要的参数，必须发送给解码方，参与最后的压缩编码运算，一般是加入Huffman编码过程。

运动估计：

搜索运动矢量需要很大的开销；运动矢量作用于定位参考块。

双向预测计算处理

双向预测计算与上述预测计算类似，区别在于一个编码图像有前后两个参考图像，分别在参考图像中搜索出两个最佳匹配宏块（注意，会得到两个运动向量），接着求这两个匹配宏块的平均值，然后用这个平均值与编码图像块进行差分运算，这之后是DCT变换、RLE编码和Huffman编码，与P帧的对应处理完全一样。

解码过程：

逐块进行，首先是Huffman解码并分离出运动向量，接着是行程解码和反向正交余弦变换，得到差分值（残差)，与此同时，利用分离得到的运动向量，在参考图像（必须先解码）中迅速定位出最佳匹配宏块，最后把残差补充上去（叠加），就解码出了一个宏块。

• 双向预测解码测是在两个最佳匹配宏块的平均值上补充残差。

• 根据运动向量将差分值补充到参考图像匹配宏块中去的过程称为运动补偿(Motion Compensation,MC)。

运动估计和运动补偿是视频编解码算法的核心。

由于这种基于块匹配的运动估计和补偿技术具有计算简单、效果好和便于大规模集成电路(VLS引)实现等优点，因而得到广泛应用，成为当前众多视频编码标准的基础，如MPEG-I、MPEG-2、MPEG-4、H.261、H.263和H.264等。另外运动估计在整个处理过程中的计算复杂度最大，占了整个计算量的50%以上。运动估计得越准确，补偿的残差就越小，编码的效率就越高，解码出来的图像质量越好。