Pseudo-Cylindrical伪圆柱投影的全景视频编码

    xiaoxiao2021-08-26  101

    本文学习参考文献:Ghaznavi Youvalari, Ramin. 360-Degree Panoramic Video Coding.

    1、Pseudo-Cylindrical伪圆柱投影

    Pseudo-Cylindrical伪圆柱投影是在圆柱投影基础上,规定纬线为平行直线,而经线则根据某些特定条件而设计成对称于中央经线的各种曲线(多为正弦曲线或椭圆曲线)的投影。 目前圆柱投影比较常用,将球体坐标映射到了完整矩形2D坐标,生成的图像需要延展,特别是两极区域,失真严重。映射后的矩形图像适合于使用HEVC进行编码,但是延展产生了大量的冗余信息,比特率浪费严重,编码效率低。 常见的圆柱投影equirectangular投影如下图: 相对于圆柱投影,伪圆柱投影如下图只是部分保存了图像内容,没有将图像延展为完整矩形。这样避免了两极区域的过度延展,同时在两极区域使用的像素也更少,但是在编码时,引入了有效图像区域的问题,这也是不适合使用HEVC进行编码的主要原因。 常见的两种伪圆柱投影:sinusoidal正选型和miscellaneous混合型,如下图:

    2、使用HEVC对伪圆柱投影的全景视频进行编码

    使用伪圆柱投影的360视频图像并不是矩形的,在四角会存在无效图像区,因此无法与编码块对齐,这是不适合HEVC编码的关键原因,需要解决的问题都是围绕无效图像区展开的。 在帧内编码时中的主要问题是,在边界区域处会存在同时包含有效区真实图像值和有效区外无效值的编码块,在DCT变换和量化时会产生大量高频值,增加比特率,而帧内预测无法重建这些锋利的边缘,造成了预测误差信号变大。

    解决方法: 1)填充边界采样,直接使用每一行的第一个像素和最后一个像素填充块中的无效区。这种方法可以使边界处采样具有高度的相关性,使得编码器可以对这些块进行有效的编码,其效果如下图。 2)使用对侧图像数据复制填充边界采样,复制同行对侧的有效图像信息来对块中无效区采样进行填充。同一行最左和最右处的像素值在空间位置上实际是相邻的,具有很强的相关性,因此,可以彼此复制来进行填充。填充后效果如下图所示。

    处理过程: 下图展示了该帧内预测方法编解码的整体处理过程。在编码器端,可以作为预处理,这样就不必改变现有的编码标准,而在解码端,只要在解码后进行后期处理即可。

    转载请注明原文地址: https://ju.6miu.com/read-677183.html

    最新回复(0)