VR直播系统搭建——全景视频拼接概述

全景视频拼接流程

视频同步
由于相机buffer以及曝光时间等原因，多个相机之间的数据需要同步，不然在不同相机的buffer顶端的数据是不同时刻曝光得到的，会出现明显的跳帧和拼接的错位。而影响同步的原因有曝光不同步和buffer不同步。
曝光不同步主要是因为多个相机曝光的时间不同，使得它们没有同时曝光，对于这个因素可以通过硬件同步的方法来解决，将同一个方波信号传递给多个相机，使用这个方波信号来控制相机的曝光，便可强制相机同时曝光。
buffer不同步主要是不同相机初始化buffer的时间不一样，使得buffer顶端的数据的时间不确定，这里我们可以根据每一帧数据的时间戳进行软同步。

帧级拼接
帧级拼接也就是图像拼接的加速版本，后面讲详细介绍这部分的相关技术。

视频压缩
当前还没有全景视频专用的视频压缩标准，所以我们将全景图像映射为平面后使用2D视频的压缩标准进行压缩和编码。
当前使用最广泛的视频压缩标准是H.264，新一代视频压缩标准HEVC也已经推出，同时国内外的标准化组织也在计划推出全景视频专用的视频压缩标准，相信在不就的将来，我们就可以用上全景视频专用的视频编码器。