*CN103384331A*
(10)申请公布号(10)申请公布号 CN 103384331 A(43)申请公布日 2013.11.06
(12)发明专利申请
(21)申请号 201310307481.6(22)申请日 2013.07.19
(71)申请人上海交通大学
地址200240 上海市闵行区东川路800号(72)发明人蒋兴浩 孙锬锋 巢娟 王琬
程东阳 吴俞醒(74)专利代理机构上海汉声知识产权代理有限
公司 31236
代理人郭国中(51)Int.Cl.
H04N 7/26(2006.01)H04N 7/50(2006.01)H04N 21/8358(2011.01)
权利要求书3页 说明书7页 附图2页权利要求书3页 说明书7页 附图2页
(54)发明名称
基于光流一致性的视频帧间篡改检测方法(57)摘要
本发明提供了一种视频内容安全领域的基于光流一致性的视频帧间篡改被动检测方法。主要针对静态摄像头拍摄的监控视频，先提取视频中相邻两帧之间的光流特征，对水平和垂直方向的光流绝对值加和，生成整个视频的水平和垂直方向两个光流序列，对光流序列进行分析，针对不同的帧间篡改模式的特点进行视频帧间篡改检测。通过光流特征这一鲁棒性很强的视频特征，能有效检测视频帧插入、帧删除、单帧多次复制、连续帧非相邻复制、连续帧相邻复制五种类型的视频帧间篡改，为法庭供证视频的完整性和真实性提供有力的检测武器。CN 103384331 ACN 103384331 A
权 利 要 求 书
1/3页
1.一种基于光流一致性的视频帧间篡改检测方法，其特征在于，包括如下步骤：步骤1：读入待检测的视频，解码为独立的视频帧序列；步骤2：对解码得到的视频帧序列，提取每两个相邻视频帧之间的光流矢量，对生成的光流矢量的所有像素点处水平方向和垂直方向的绝对值分别求和，得到帧的水平方向和垂直方向的两个光流绝对值的和，将所有帧的光流绝对值的和按时间排序生成整个视频水平方向和垂直方向的光流序列；
步骤3：分析光流序列特征，根据不同的视频帧间篡改模式的特点，利用光流变化率来判断视频是否被篡改，如果被篡改，则确定篡改类型；
步骤4：进行视频恢复。
2.根据权利要求1所述的基于光流一致性的视频帧间篡改检测方法，其特征在于，提取所述的两个相邻视频帧之间的光流矢量，具体包括如下步骤：
步骤2.1：对于解压得到视频中的两个相邻视频帧，对每个视频帧进行四次迭代帧压缩，生成一个包含原始视频帧的5层金字塔，金字塔中每一层是由其下一层经过压缩得到，其中，金字塔的底层，即第五层，为原始视频帧；
步骤2.2：从金字塔顶端到底层，同时计算两个相邻视频帧之间对应相同层次的两个视频帧图像之间水平方向和垂直方向的运动矢量，其中，金字塔的顶端即金字塔的第一层；
步骤2.3：把通过步骤2.2得到的5层运动矢量从上至下依次记作：layer(1)、layer(2)、layer(3)、layer(4)和layer(5)；
首先，生成一个空的运动矢量图，其大小与layer(1)一致，里面所有像素点的光流值为0，记作ExpMV(0)；
将ExpMV(0)和layer(1)相加得到MVSum(1)，然后对MVSum(1)进行平滑处理；将平滑后的MVSum(1)记作MVSmooth(1)，然后将MVSmooth(1)进行扩展得到ExpMV(1)；
将ExpMV(1)和layer(2)相加得到MVSum(2)，然后对MVSum(2)进行平滑处理；将平滑后的MVSum(2)记作MVSmooth(2)，然后将MVSmooth(2)进行扩展得到ExpMV(2)；
将ExpMV(2)和layer(3)相加得到MVSum(3)，然后对MVSum(3)进行平滑处理；将平滑后的MVSum(3)记作MVSmooth(3)，然后将MVSmooth(3)进行扩展得到ExpMV(3)；
将ExpMV(3)和layer(4)相加得到MVSum(4)，然后对MVSum(4)进行平滑处理；将平滑后的MVSum(4)记作MVSmooth(4)，然后将MVSmooth(4)进行扩展得到ExpMV(4)；
将ExpMV(4)和layer(5)相加得到MVSum(5)，然后对MVSum(5)进行平滑处理；将平滑后的MVSum(5)记作MVSmooth(5),MVSmooth(5)即为两个相邻视频帧之间的光流矢量。
3.根据权利要求2所述的基于光流一致性的视频帧间篡改检测方法，其特征在于，在所述步骤2.1中，所述的压缩具体包括如下步骤：
步骤2.1.1：空间采样：提取视频帧图像的偶数行和偶数列形成一个新图像；步骤2.1.2：在新图像的水平方向用一个大小为N的窗口进行卷积运算，以对水平方向的像素进行平滑处理，N为自然数；
步骤2.1.3：在通过步骤2.1.2得到的图像的垂直方向用一个大小为N的窗口进行卷积运算，对垂直方向的像素进行平滑处理，得到最终的压缩图像。
4.根据权利要求3所述的基于光流一致性的视频帧间篡改检测方法，其特征在于，所
2
CN 103384331 A
权 利 要 求 书
2/3页
述扩展具体包括如下步骤：
步骤A：空间扩展：在图像的水平方向和垂直方向插入空白行和空白列；步骤B：在新图像的水平方向用一个大小为N的窗口进行卷积运算，对水平方向的像素进行平滑处理；
步骤C：在B步骤中形成的图像的垂直方向用一个大小为N的窗口进行卷积运算，对垂直方向的像素进行平滑处理，得到最终的扩展图像。
5.根据权利要求1至4中任一项所述的基于光流一致性的视频帧间篡改检测方法，其特征在于，对于给定的两个视频帧i和i+1，利用下面的公式计算水平方向和垂直方向所有像素点的光流绝对值和：
其中，OFX(i,i+1)(w,h)是指像素点(w,h)位置的光流绝对值，width是视频帧宽度，height是视频帧高度，S(i,i+1)(x)是最终生成的水平方向的光流绝对值和；
其中，OFX(i,i+1)(w,h)是指像素点(w,h)位置的光流绝对值，width是视频帧宽度，height是视频帧高度，S(i,i+1)(y)是最终生成的垂直方向的光流绝对值和；
进一步地，第i帧和第i+1帧之间的光流变化率OFCR(i,i+1)(x)为：OFCR(i,i+1)(x)=2×S(i,i+1)(x)/(S(i-1,i)(x)+S(i+1,i+2)(x))其中，S(i,i+1)(x)为第i帧和第i+1帧之间的水平方向的光流绝对值和，S(i-1,i)(x)为第i-1帧和第i帧之间的水平方向的光流绝对值和，S(i+1,i+2)(x)为第i+1帧和第i+2帧之间的水平方向的光流绝对值和。
6.根据权利要求5所述的基于光流一致性的视频帧间篡改检测方法，其特征在于，若光流序列中存在两个非常突兀的光流脉冲，并且视频中不存在完全一致的光流序列，不存在连续的光流值相等、以及接近0的情况，则篡改确定为视频帧插入篡改；
若光流序列中存在一个光流脉冲，并且视频中不存在完全一致的光流序列，不存在连续的光流值相等、以及接近0的情况，则确定篡改类型为视频帧删除篡改；
若光流序列中不存在光流脉冲，但是存在连续的光流值相等、以及接近0的光流序列，不存在完全一致的光流序列，则确定篡改类型为视频单帧多次复制篡改；
若光流序列中存在两个光流脉冲，视频中不存在连续的光流相等、以及接近0的情况，但是视频中存在另外一段光流子序列，与两个脉冲之间的光流子序列完全一致，则确定篡改类型为视频连续帧非相邻复制；
若光流序列中存在一个光流脉冲，视频中不存在连续的光流值相等、以及接近0的光流序列，但是脉冲前后两段光流子序列完全一致，则确定篡改类型为视频连续帧相邻复制篡改。
7.根据权利要求6所述的基于光流一致性的视频帧间篡改检测方法，其特征在于，N=5，其中，
确定存在帧插入类型的篡改类型的光流脉冲的方法是存在两个点，其光流变化率大于
3
CN 103384331 A
权 利 要 求 书
3/3页
阈值threshold1=20；
确定存在帧删除类型的篡改类型的光流脉冲的方法是存在一个点，其光流变化率大于阈值threshold2=2；
确定存在单帧多次类型的篡改类型的光流脉冲的方法是存在多个连续的点，其光流变化率均为1；
确定存在连续帧非相邻复制类型的篡改类型的光流脉冲的方法是存在两个点，其光流变化率大于阈值threshold2=2；
确定存在连续帧相邻复制类型的篡改类型的光流脉冲的方法是存在一个点，其光流变化率大于阈值threshold2=2。
4
CN 103384331 A
说 明 书
基于光流一致性的视频帧间篡改检测方法
1/7页
技术领域
本发明涉及的是一种视频篡改检测领域的方法，具体是一种基于光流一致性的视
频帧间篡改检测方法。
[0001]
背景技术
随着互联网技术和数码设备的日益发展，数字视频已经广泛地融入到人们的生活
中，并逐渐成为了法庭认证的一个重要证据来源。然而，随着各种视频编辑软件功能越来越完善，很多视频被篡改并流传于网络，导致视频信息不再可靠。如果被篡改的视频作为法庭供证，很难保证视频的完整性和真实性。如何准确地判断一个给定视频是否被篡改，已经成为信息安全领域的一个重要课题。[0003] 目前，常见的视频篡改可以分为帧内篡改和帧间篡改两种方式。帧内篡改主要是对一个视频帧中的局部区域（比如某个物体）进行修改和编辑；帧间篡改则是对视频中完整的多个视频帧进行插入、删除和复制。
[0004] 视频篡改检测算法可以分为两类：视频篡改主动检测算法和视频篡改被动检测算法。视频篡改主动检测算法主要是利用嵌入的数字水印或者数字签名的完整性来判断视频是否被篡改，依赖对视频的预处理。视频篡改被动检测算法主要是利用视频本身的纹理、噪声、运动矢量等特征来判断视频是否被篡改，由于其无需先验知识，相对主动检测算法而言实用性更强。
[0005] 经过对现有技术的检索发现，中国专利文献号CN102413327A，公开日2012-04-11记载了一种“基于压缩传感的半脆弱水印的视频篡改检测方法”，该技术针对MPEG-2视频中I帧图像的编码方式和DCT系数特征，通过压缩传感技术提取I帧的图像特征，生成并嵌入内容认证水印和完整性水印，进行视频完整性初检、视频帧间篡改检测和视频帧内内容认证。
[0006] 该专利提出了一种基于水印的视频篡改主动检测方法，本发明提出了一种新的视频帧间篡改被动检测方法，通过提取视频中的光流特征来检测视频帧插入、帧删除、单帧多次复制、多帧非相邻复制和多帧相邻复制这五种类型的视频篡改方式，该方法对于检测监控视频的完整性和真实性非常有效，在鉴定法庭视频供证真实性方面具有重大影响。将此作为一个新兴研究方向，仍有很大的发展空间。
[0002]
发明内容
[0007] 本发明提出了一种基于光流一致性的视频帧间篡改被动检测方法，该方法针对静态摄像头拍摄的监控视频，通过提取视频中相邻帧之间的光流特征，分析整个视频中光流特征是否一致，来判断视频是否被篡改，以及定位篡改类型。
[0008] 根据本发明提供的基于光流一致性的视频帧间篡改检测方法，包括如下步骤：[0009] 步骤1：读入待检测的视频，解码为独立的视频帧序列；[0010] 步骤2：对解码得到的视频帧序列，提取每两个相邻视频帧之间的光流矢量，对生
5
CN 103384331 A
说 明 书
2/7页
成的光流矢量的所有像素点处水平方向和垂直方向的绝对值分别求和，得到帧的水平方向和垂直方向的两个光流绝对值的和，将所有帧的光流绝对值的和按时间排序生成整个视频水平方向和垂直方向的光流序列；[0011] 步骤3：分析光流序列特征，根据不同的视频帧间篡改模式的特点，利用光流变化率（Optical Flow Change Rate）来判断视频是否被篡改，如果被篡改，则确定篡改类型；步骤4：对帧插入、单帧多次复制、连续帧非相邻复制和连续帧相邻复制的视频，删除被插入或者复制的视频帧，从而进行视频恢复。[0013] 优选地，提取所述的两个相邻视频帧之间的光流矢量，具体包括如下步骤：[0014] 步骤2.1：对于解压得到视频中的两个相邻视频帧，对每个视频帧进行四次迭代帧压缩，生成一个包含原始视频帧的5层金字塔，金字塔中每一层是由其下一层经过压缩得到，其中，金字塔的底层，即第五层，为原始视频帧；[0015] 步骤2.2：从金字塔顶端到底层，同时计算两个相邻视频帧之间对应相同层次的两个视频帧图像之间水平方向和垂直方向的运动矢量，其中，金字塔的顶端即金字塔的第一层；
[0016] 步骤2.3：把通过步骤2.2得到的5层运动矢量从上至下依次记作：layer(1)、layer(2)、layer(3)、layer(4)和layer(5)；[0017] 首先，生成一个空的运动矢量图，其大小与layer(1)一致，里面所有像素点的光流值为0，记作ExpMV(0)；
[0018] 将ExpMV(0)和layer(1)相加得到MVSum(1)，然后对MVSum(1)进行平滑处理(平滑的补充是先压缩，后扩展)；将平滑后的MVSum(1)记作MVSmooth(1)，然后将MVSmooth(1)进行扩展得到ExpMV(1)；
[0019] 将ExpMV(1)和layer(2)相加得到MVSum(2)，然后对MVSum(2)进行平滑处理(平滑的补充是先压缩，后扩展)；将平滑后的MVSum(2)记作MVSmooth(2)，然后将MVSmooth(2)进行扩展得到ExpMV(2)；
[0020] 将ExpMV(2)和layer(3)相加得到MVSum(3)，然后对MVSum(3)进行平滑处理(平滑的补充是先压缩，后扩展)；将平滑后的MVSum(3)记作MVSmooth(3)，然后将MVSmooth(3)进行扩展得到ExpMV(3)；
[0021] 将ExpMV(3)和layer(4)相加得到MVSum(4)，然后对MVSum(4)进行平滑处理(平滑的补充是先压缩，后扩展)；将平滑后的MVSum(4)记作MVSmooth(4)，然后将MVSmooth(4)进行扩展得到ExpMV(4)；
[0012]
将ExpMV(4)和layer(5)相加得到MVSum(5)，然后对MVSum(5)进行平滑处理(平
滑的补充是先压缩，后扩展)；将平滑后的MVSum(5)记作MVSmooth(5),MVSmooth(5)即为两个相邻视频帧之间的光流矢量。[0023] 优选地，在所述步骤2.1中，所述的压缩具体包括如下步骤：[0024] 步骤2.1.1：空间采样：提取视频帧图像的偶数行和偶数列形成一个新图像；[0025] 步骤2.1.2：在新图像的水平方向用一个大小为N的窗口进行卷积运算，以对水平方向的像素进行平滑处理，N为自然数；[0026] 步骤2.1.3：在通过步骤2.1.2得到的图像的垂直方向用一个大小为N的窗口进行卷积运算，对垂直方向的像素进行平滑处理，得到最终的压缩图像。
[0022]
6
CN 103384331 A[0027]
说 明 书
3/7页
优选地，所述扩展具体包括如下步骤：
[0028] 步骤A：空间扩展：在图像的水平方向和垂直方向插入空白行和空白列；[0029] 步骤B：在新图像的水平方向用一个大小为N的窗口进行卷积运算，对水平方向的像素进行平滑处理；[0030] 步骤C：在B步骤中形成的图像的垂直方向用一个大小为N的窗口进行卷积运算，对垂直方向的像素进行平滑处理，得到最终的扩展图像。[0031] 优选地，第i帧和第i+1帧之间的光流变化率OFCR(i,i+1)(x)为：[0032] OFCR(i,i+1)(x)=2×S(i,i+1)(x)/(S(i-1,i)(x)+S(i+1,i+2)(x))[0033] 其中，S(i,i+1)(x)为第i帧和第i+1帧之间的水平方向的光流绝对值和，S(i-1,i)(x)为第i-1帧和第i帧之间的水平方向的光流绝对值和，S(i+1,i+2)(x)为第i+1帧和第i+2帧之间的水平方向的光流绝对值和。[0034] 优选地，若光流序列中存在两个非常突兀的光流脉冲，并且视频中不存在完全一致的光流序列，不存在连续的光流值相等、以及接近0的情况，则篡改确定为视频帧插入篡改；
[0035] 若光流序列中存在一个光流脉冲，并且视频中不存在完全一致的光流序列，不存在连续的光流值相等、以及接近0的情况，则确定篡改类型为视频帧删除篡改；[0036] 若光流序列中不存在光流脉冲，但是存在连续的光流值相等、以及接近0的光流序列，不存在完全一致的光流序列，则确定篡改类型为视频单帧多次复制篡改；[0037] 若光流序列中存在两个光流脉冲，视频中不存在连续的光流相等、以及接近0的情况，但是视频中存在另外一段光流子序列，与两个脉冲之间的光流子序列完全一致，则确定篡改类型为视频连续帧非相邻复制；
[0038] 若光流序列中存在一个光流脉冲，视频中不存在连续的光流值相等、以及接近0的光流序列，但是脉冲前后两段光流子序列完全一致，则确定篡改类型为视频连续帧相邻复制篡改。
[0039] 优选地，N=5，其中，
[0040] 确定存在帧插入类型的篡改类型的光流脉冲的方法是存在两个点，其光流变化率大于阈值threshold1=20；
[0041] 确定存在帧删除类型的篡改类型的光流脉冲的方法是存在一个点，其光流变化率大于阈值threshold2=2；
[0042] 确定存在单帧多次类型的篡改类型的光流脉冲的方法是存在多个连续的点，其光流变化率均为1；
[0043] 确定存在连续帧非相邻复制类型的篡改类型的光流脉冲的方法是存在两个点，其光流变化率大于阈值threshold2=2；
[0044] 确定存在连续帧相邻复制类型的篡改类型的光流脉冲的方法是存在一个点，其光流变化率大于阈值threshold2=2。
[0045] 本发明提出的视频帧间篡改被动检测算法，通过提取光流这一视频特征，来检测视频帧插入、帧删除、单帧多次复制、连续帧非相邻复制和连续帧相邻复制这五种不同类型的视频帧间篡改。光流特征是一个对于视频帧间篡改非常敏感的特征，能有效积累篡改对视频的影响，而且光流特征提取相对噪声特征简易，能有效提高算法的时间效率。
7
CN 103384331 A
说 明 书
4/7页
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、
目的和优点将会变得更明显：
[0047] 图1是本发明视频帧间篡改被动检测方法的整体流程图；[0048] 图2是本发明视频帧间光流特征提取流程图。
[0046]
具体实施方式
[0049] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0050] 本发明是通过以下技术方案实现的，首先对两个相邻的视频帧进行逐层压缩得到五层金字塔，提取每层的运动矢量，从上到下依次对运动矢量进行扩展、求和和平滑得到两个视频帧之间的光流特征，分别对水平和垂直方向进行光流绝对值求和统计。按此方法提取整个视频所有相邻帧之间的光流特征，对每个视频生成水平方向和垂直方向两个光流序列。然后对光流序列进行分析，针对不同帧间篡改方式的特征，来判断视频是否是原始视频，如果不是，再判断其篡改类型，并对某些类型的篡改（视频帧插入、单帧多次复制、连续帧非相邻复制、连续帧相邻复制）进行视频恢复。
[0051] 视频帧间篡改被动检测算法的整体流程如图1所示，其具体步骤为：[0052] 第一步：视频解码，具体步骤为：[0053] 对于待检测的视频，利用matlab中mmreader函数进行解码，得到独立的视频帧序列，便于下面的步骤中提取每两个相邻视频帧之间的光流特征。[0054] 第二步：光流特征提取
[0055] 对解码得到的视频帧序列，提取每两个相邻帧之间的光流特征：[0056] (1).对于每个视频帧，对其进行四次迭代帧压缩，生成一个包含原始视频帧的5层金字塔，金字塔中每一层是由其下一层经过压缩得到，其中，金字塔的底层为原始视频帧。压缩步骤如下：[0057] 步骤A：空间采样：提取图像的偶数行和偶数列形成一个新的图像。[0058] 步骤B：在新图像的水平方向用一个大小为5的窗口进行卷积运算，以对水平方向的像素进行平滑处理。[0059] 步骤C：在B步骤中形成的图像的垂直方向用一个大小为5的窗口进行卷积运算，对垂直方向的像素进行平滑处理，得到最终的压缩图像。[0060] (2).从金字塔顶端到底层（即原始视频帧），同时计算对应相同层次的两个图像之间水平方向和垂直方向的运动矢量，共5层运动矢量。[0061] 描述子有：
[0062] layer(1):两个视频帧的五层金字塔最顶层（即第一层）的两个压缩帧之间的运动矢量
[0063] layer(2):两个视频帧的五层金字塔第二层的两个压缩帧之间的运动矢量
8
CN 103384331 A[0064]
说 明 书
5/7页
layer(3):两个视频帧的五层金字塔第三层的两个压缩帧之间的运动矢量
[0065] layer(4):两个视频帧的五层金字塔第四层的两个压缩帧之间的运动矢量[0066] layer(5):两个视频帧的五层金字塔第五层（两个未压缩的帧）之间的运动矢量(3).对上述五层运动矢量从上到下依次进行扩展，与下层加和，再对加和后的运动矢量进行平滑。最后一层得到的平滑后的运动矢量即为光流矢量。[0067] 描述子有：
[0068] ExpMV(0):一个人工生成的值全为0的运动矢量，大小为金字塔第一层大小[0069] MVSum(1):ExpMV(0)与layer(1)加和的结果[0070] MVSmooth(1):MVSum(1)经过平滑操作后的结果，平滑操作为先压缩后扩展[0071] ExpMV(1):MVSmooth(1)扩展后的结果，大小为金字塔第二层大小[0072] MVSum(2):ExpMV(1)与layer(2)加和的结果[0073] MVSmooth(2):MVSum(2)经过平滑操作后的结果，平滑操作为先压缩后扩展[0074] ExpMV(2):MVSmooth(2)扩展后的结果，大小为金字塔第三层大小[0075] MVSum(3):ExpMV(2)与layer(3)加和的结果[0076] MVSmooth(3):MVSum(3)经过平滑操作后的结果，平滑操作为先压缩后扩展ExpMV(3):MVSmooth(3)扩展后的结果，大小为金字塔第四层大小[0078] MVSum(4):ExpMV(3)与layer(4)加和的结果[0079] MVSmooth(4):MVSum(4)经过平滑操作后的结果，平滑操作为先压缩后扩展[0080] ExpMV(4):MVSmooth(4)扩展后的结果，大小为金字塔第五层（原始帧）大小[0081] MVSum(5):ExpMV(4)与layer(5)加和的结果
[0082] MVSmooth(5):MVSum(5)经过平滑操作后的结果，平滑操作为先压缩后扩展，该描述子即为最终的两个视频帧之间的光流矢量。[0083] 具体的扩展步骤如下：[0084] 步骤A：空间扩展：在图像的水平方向和垂直方向插入空白行和空白列。[0085] 步骤B：在新图像的水平方向用一个大小为5的窗口进行卷积运算，对水平方向的像素进行平滑处理。[0086] 步骤C：在B步骤中形成的图像的垂直方向用一个大小为5的窗口进行卷积运算，对垂直方向的像素进行平滑处理，得到最终的扩展图像。[0087] 第三步，光流矢量水平和垂直方向绝对值求和
[0088] 对生成的光流矢量的所有像素点处水平方向和垂直方向的绝对值分别求和，得到水平方向和垂直方向两个光流绝对值的和。[0089] 对于给定的两个视频帧i和i+1，利用下面的公式计算水平方向和垂直方向所有像素点的光流绝对值和：
[0077] [0090]
其中OFX(i,i+1)(w,h)是指像素点(w,h)位置的光流绝对值，width是视频帧宽度，
height是视频帧高度，S(i,i+1)(x)是最终生成的水平方向的光流绝对值和。将公式中的X换成Y即可得到垂直方向相应的光流绝对值和。[0092] 第四步：生成光流序列
[0091]
9
CN 103384331 A[0093]
说 明 书
6/7页
遍历整个视频，提取所有相邻两帧之间的光流特征，计算两帧之间水平方向和垂
直方向的光流绝对值的和，将所有帧光流绝对值的和按时间排序得到整个视频的水平方向和垂直方向两个光流序列。[0094] 第五步：分析光流一致性，判断篡改类型[0095] 计算光流序列中所有点的光流变化率，根据不同的视频帧间篡改方式的特征，对视频光流序列进行分析，判断是否被篡改，如果被篡改，判断其篡改类型。
[0096] 第i帧和第i+1帧视频之间的光流变化率OFCR(i,i+1)(x)的计算方式如下：[0097] OFCR(i,i+1)(x)=2×S(i,i+1)(x)/(S(i-1,i)(x)+S(i+1,i+2)(x))[0098] 其中S(i,i+1)(x)为第i帧和第i+1帧之间的水平方向（X方向）的光流绝对值和，S(i-1,i)(x)为第i-1帧和第i帧之间的水平方向的光流绝对值和，S(i+1,i+2)(x)为第i+1帧和第i+2帧之间的水平方向的光流绝对值和。OPCR为光流变化率的简称（Optical Flow Change Rate）。
[0099] 具体的光流一致性检测方法是，计算每个光流与其前后两个光流均值之间的比值，记为光流变化率。然后将光流变化率与两个固定阈值比较。[0100] (1).没有经过篡改的原始视频：所有光流变化率低于固定阈值threshold2=2。[0101] (2).视频帧插入篡改：存在两个点，光流变化率高于固定阈值threshold1=20，然后将两个点之间的光流子序列与光流序列中其它光流子序列遍历比较，不存在完全一致的光流序列。
[0102] (3).视频帧删除篡改：存在一个点，光流变化率高于固定阈值threshold2=2，比较光流变化率大于threshold2的点前后两段光流子序列，不存在与之完全一致的光流子序列。
[0103] (4).视频单帧多次复制篡改：存在多个连续的点，其光流变化率为1。[0104] (5).视频连续帧非相邻复制：存在一个点，光流变化率高于固定阈值threshold2=2，比较光流变化率大于threshold2的点前后两段光流子序列，存在完全一致的光流子序列。
[0105] (6).视频连续帧相邻复制篡改：存在两个点，光流变化率高于固定阈值threshold2=2，然后将两个点之间的光流序列与光流序列中其它光流子序列遍历比较，存在与之完全一致的光流子序列。[0106] 第六步，对视频帧插入、单帧多次复制、连续帧非相邻复制、连续帧相邻复制这四种类型的篡改方式进行视频恢复。
处理的输入：第五步中被判定为帧插入、单帧多次复制、连续帧非相邻复制、连续
帧相邻复制的视频及对应的光流序列。[0108] 进行视频帧篡改恢复的步骤：[0109] （1）将视频进行解码，得到独立的帧序列。[0110] （2）根据光流序列中的光流特征，分别对四种篡改方式进行如下帧删除：[0111] A.视频帧插入篡改：将光流序列中两个光流脉冲之间的帧删除。[0112] B.视频单帧多次复制：将光流序列中连续的相等的、接近0的光流值对应的视频帧删除。
[0113] C.视频连续帧非相邻复制：将光流序列中两个光流脉冲之间的视频帧删除。
[0107]
10
CN 103384331 A[0114]
说 明 书
7/7页
D.视频连续帧相邻复制：遍历光流序列中单个脉冲前后的光流序列，得到两个最
长的完全一致的光流序列，删除其中任何一个序列对应的视频帧。[0115] （3）将帧删除后的视频进行压缩编码，恢复为原视频。[0116] 以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
11
CN 103384331 A
说 明 书 附 图
1/2页
图1
12
CN 103384331 A
说 明 书 附 图
2/2页
图2
13
因篇幅问题不能全部显示，请点此查看更多更全内容