



摘要:随着3D显示快速融入人们生活,多视点视频作为其重要的支撑技术得到广泛关注。多视点视频是一种能够满足用户全方位、多角度观看视频的视频采集技术,目前多视点视频主要存放在集中存储的磁盘阵列,存在数据篡改或替换的隐患,不适合教育等保密要求较高的场景开展应用,因此,文章基于区块链技术进行多视点视频生成和管理系统设计,能够在有效满足视频实时传输的基础上确保视频访问和管理的安全性。
关键词:区块链;多视点视频;管理系统
中图分类号:TP393.1文献标志码:A
0 引言
随着大数据、云计算、移动互联网、多媒体等信息技术的快速发展,以虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)等技术为代表的3D显示技术快速融入人们的生产和生活当中,基于三维视频的应用展现出巨大的应用前景,多视点视频作为重要的支撑技术已进入研究人员的视野当中。多视点视频(Multi-Viewpoint Video,MVV)是一种能够满足用户全方位、多角度观看视频的视频采集技术,其基本原理为:在录制视频时,由多个摄像机构成的阵列独立从不同视角对同一场景进行拍摄而得到一组视频数据,用户能够在观看视频时自由切换不同的视点来查看不同摄像机拍摄内容,对于未放置摄像机的视点,则需要结合包含场景空间深度信息的采集视频,合成虚拟视点视频图像供用户观看,从而使用户产生身临其境的感觉,该技术目前已经被广泛应用于比赛、教学等三维视频的场景表示[1-2]。然而目前无论是原始视点还是虚拟视点视频,在使用过程中主要存放在集中存储的磁盘阵列中(如云盘),难以发现数据在存储或是分享过程中是否存在篡改,而教育教学过程相关视频数据可能作为成绩、考核和课程评价等工作的证据材料,特别是在多校共享教学资源的情况下,课程教学视频作为基础性资料必须具备追溯性,应确保视频无法进行篡改或替换,因此现有系统框架存在一定的安全隐患。
区块链技术是一种由多方共同维护,使用密码学保证传输和访问安全,能够实现数据一致存储、难以篡改、防止抵赖的记账技术,也被称分布式账本技术[3]。区块链技术通过综合应用“点对点传输”“链式时间戳”“共识算法”和“智能合约”等技术,形成了在不可信的竞争环境中低成本建立信任的新型计算范式,成为发展数字经济、构建新型信任体系的重要基础[4]。基于区块链技术特点,本文提出一种多视点视频管理系统,对多视点视频进行合成、存储和内容访问,能够有效确保教学过程中多视点视频数据的真实性和完整性,防止视频数据的篡改和删除,提高系统的安全性[5-6]。
1 系统需解决的主要问题
基于区块链技术进行多视点视频的存储和应用,虽然提高了系统的安全性,但是还需要关注以下问题。
1.1 视频数据量大,不适合全部进行上链存储
为了确保多视点视频的体验,一般使用10个以上的摄像头组成相机阵列对同一场景进行拍摄,这就造成视频数据量会随着摄像头数量增加而线性增加,对于数据处理、传输和存储的能力要求也随之增加[7]。以4K视频为例,单路相机录制的视频采用高效视频编码压缩后约为30 Mbit/s,20路相机同时传输就需要600 Mbit/s。由于共识机制的影响,区块链技术在进行数据上链存储时,需要全部或多数节点形成共识后方能完成交易(数据完成存储),其处理能力相对较慢,以公有链以太坊为例,其最大交易速度为每秒45个交易,即使对于节点数较少的私有链,其存储速度也远远低于集中式的磁盘阵列,这对于多视点视频存储和应用造成了较大的限制。
1.2 用户视点切换的时延控制
为了使用户能够观看任意视点的视频图像,需要使用视点合成方法得到未捕获的中间视频图像,在此过程中影响用户体验的因素主要有2个:一是视点合成的时延,由于在用户切换过程中,需要进行中间视点视频的合成,因此会存在一定的时延,时延过长将影响用户的体验;二是视频场景切换的平滑性,如果前后2个实际视点之间间隔过大,则在切换过程中可能会出现不连续的感觉,为了确保切换的平滑性,可以在2个视点之间通过合成并插入虚拟视点予以解决,但是这会消耗更多的计算资源以确保切换的平滑性[8]。
2 系统整体模型
基于上述问题,本节重点介绍基于区块链技术的多视点视频生成和管理系统设计方案。该系统主要包括摄像机阵列、视频管理服务器和区块链节点服务器,其中摄像机阵列主要功能为多视点原始视频采集,视频管理服务器包含视频存储、视频预处理、视频合成、媒体管理文档生成等功能,区块链节点服务器以联盟链形式构建区块链网络系统,以确保数据不被篡改。基于区块链的多视点视频管理系统设计如图1所示,主要工作流程如下。
(1)在摄像机阵列完成原始视频采集后,系统将视频文件及相关配置信息(包含摄像头数量、位置、设备参数、编号、视频文件指纹等)发送至视频管理服务器。
(2)视频管理服务器将摄像头采集的RGB视频数据转换为YUV格式,结合深度估计生成的深度数据生成3D扭曲视频数据,以上视频均采用H.265编码格式进行存储。对于虚拟视点,视频管理服务器将根据前期参数设置,基于实际视点视频数据合成虚拟视点视频数据并进行存储(视频合成方法见第3节)。以上实际视点和虚拟视点的视频、相关配置信息和访问地址等数据将由视频管理服务器生成服务描述文件,视频文件和服务描述文件均在本地磁盘阵列进行存储。
(3)服务描述文件在生成后通过区块链节点进行加密上链存储和共享,需要说明的是,视频管理服务器和区块链网络内的服务描述文件将定期进行校验,确保文件未发生篡改,以确保系统安全。
(4)授权用户通过区块链获取加密后的服务描述文件,在使用私钥解密读取其中视频访问地址和相关参数后,向对应视频管理服务器发送请求并获取视频文件。
3 多视点视频的合成与切换管理
多视点视频系统的视点包含实际视点和虚拟视点2种,其中实际视点的视频数据直接使用摄像机采集,而虚拟视点数据需要基于实际视点视频进行合成。因此图像融合算法和不同视点切换策略将直接影响视频展示的效果。目前的图像融合算法在合成虚拟视点视频时,为了确保视频质量,其计算复杂度相对较高,视频数据量相对较大,不够适应基于区块链的视频生成和管理系统高效、简洁的要求。为了进一步提高服务器合成和管理视频的效率,本文提出一种改进的空洞填充算法,以快速生成虚拟视点图像,满足用户需要。
改进的空洞填充算法如图2所示,假设区域S是要被修复的空洞区域,定义其边界为δS,属于区域S的像素点p将被其邻域Bξ(p)修复,其邻域大小为ξ。根据给定的图像I(q)和点q的梯度值I(q),可计算得到点p与点q的图像近似值Iq(p):
Iq(p)=I(q)+I(q)(p-q)(1)
则点p根据区域Bξ(p)中所有点q进行修复的图像的I(p)为:
其中,权重函数ω(p,q)定义为3个变量的乘积:
ω(p,q)=dir(p,q)·dst(p,q)·lev(p,q)(3)
其中,方向向量dir(p,q)确保像素的贡献接近法线方向,几何距离向量dst(p,q)减少了在几何上远离p的像素的贡献。水平距离向量lev(p,q)确保通过p靠近边界的像素比更远的像素贡献更多。上述空洞填充算法能够提高现有技术中虚拟视点合成的速度,使服务器能够更加高效地向客户端提供虚拟视点图像。
本系统在使用过程中,客户端可以通过区块链网络获取服务描述文件并进行解析,直接根据服务描述文件中的视频地址向视频管理服务器获取对应视频,在此过程中将涉及不同视点的切换,为了提高视频切换的平滑性,将主要基于以下策略进行控制。当用户从当前视点位置d0切换至新位置d1时,系统将根据以下情况呈现相应的视点图像。
情况1:当客户端选择的视点位置d1与当前视点位置d0距离小于第一切换阈值k1,即|d1-d0|lt;k1时,则仍向客户端提供当前视点位置d0的视频图像。
情况2:当客户端选择的视点位置d1与当前视点位置d0距离大于或等于第一切换阈值k1,小于第二切换阈值k2,即k1≤|d1-d0|lt;k2时,则根据客户端选择的视点对应的服务描述文件,向客户端提供对应虚拟视点的视频数据。
情况3:当客户端选择的视点位置d1与当前的视点位置d0的距离大于或等于第二切换阈值k2,即|d1-d0|≥k2时,则直接读取当前视点相邻的实际视点图像进行显示。
4 区块链模型设计
为了兼顾区块链技术防篡改、分布式和传统数据库快速查询、数据结构简洁的优点,本系统参考ChainSQL区块链技术机制构建联盟链网络。相比于传统区块链仅记录交易的链数据库,ChainSQL技术机制创新性地引入了能够同步交易数据的关系型用户数据库,其中对用户数据库所有操作(增删改查等)均以交易记录的形式记录在链数据库中,链数据库与用户数据库定期根据规则进行数据校验和同步,用户直接查询用户数据库提高查询效率,如在数据校验和同步中发现用户数据库数据与链数据库数据存在差异,则进行文件篡改提示和溯源[9]。
在具体组网过程中,可以采用Overlay网络结构建立区块链系统,即通过综合应用API、Socket等技术在现有网络层和应用层之间加入区块链层,可以在不改变现有集中式视频存储机制的同时,完成区块链技术的引入和搭建。一方面能够支持授权用户通过访问关系型的用户数据库快速检索到对应的服务描述文件;另一方面通过区块链数据库的引入防止数据被篡改和数据溯源,确保数据保存和共享使用过程中的安全,ChainSQL区块链模型架构如图3所示。
5 结语
本文设计的基于区块链技术的多视点视频生成和管理系统,在本地存储视频文件的基础上,通过引入服务描述文件并基于区块链网络进行加密和分发,有效兼顾了视频访问的效率和安全性。同时基于区块链系统特点设计的虚拟视点合成和视点切换策略,能够有效提高视频生成速度和切换的平滑性,提升用户观看体验。在未来的工作中,还需要对合成算法和系统结构进行优化以更灵活地适配更多的用户使用场景和满足用户对视频效果的不同需求。
参考文献
[1]程金婷,彭宗举,王晓东,等.面向六自由度视频应用的多视点视频码率分配[J].光电子·激光,2020(9):994-1000.
[2]霍俊彦,常义林,李明,等.多视点视频编码的研究现状及其展望[J].通信学报,2010(5):113-121.
[3]单志广,张延强,谭敏,等.区块链服务网络的构建机理与技术实现[J].软件学报,2023(5):2170-2180.
[4]王飞,王忠勇,陈红杰.区块链技术在高校人才培养中的思考与应用[J].科学大众(科学教育)2021(7):100-101.
[5]王卫华.基于云存储的智能视频监控系统安全风险及应对策略[J].湖北警官学院学报,2022(5):61-70.
[6]秦学斌,张静,王炳,等.基于区块链的煤矿视频监控数据存储共享研究[J].金属矿山,2022(6):138-143.
[7]陈潮.基于区块链的监控视频数据存储模型研究[J].现代计算机,2023(15):69-72.
[8]郭湘南,王功乾,田路.面向教育的多视点视频结合CDN解决方案[J].光通信研究,2020(3):30-32.
[9]北京众享比特科技有限公司.ChainSQL区块链白皮书[R/OL].(2020-09-04)[2023-12-26].http://www.chainsql.net.
Design of blockchain-based instructional multi-viewpoint video generation and management system
Abstract:With the rapid integration of 3D display into people’s lives, multi-viewpoint video has gained attention as its important supporting technology. Multi-viewpoint video is a kind of video capture technology that can satisfy users’ all-round and multi-angle video viewing. At present, multi-viewpoint video is mainly stored in centralized storage disk arrays, which has the hidden danger of data tampering or replacement, and it is not suitable for education and other scenarios with high confidentiality requirements to carry out the application. Therefore, based on the blockchain technology for the design of multi-viewpoint video generation and management system, it is able to effectively satisfy the real-time transmission of video and ensure the security of video access and management on the basis of real-time video transmission. Therefore, the design of multi-viewpoint video generation and management system based on blockchain technology can effectively ensure the security of video access and management based on real-time video transmission.
Key words: blockchain; multi-viewpoint video; management system
