本文是对OpenCV2.4.13文档的部分翻译，作个人学习之用，并不完整。
视频有两种：实时图像和预记录在硬盘中的存储文件。OpenCV使用相同C++类和相同的方法来处理。
所有对于视频输入功能必要的函数都在VideoCapture类中，这个类基于FFmpeg开源库来构建。这是OpenCV基本的依赖。
一个视频是由一系列图像组成的，书面上将其称为帧。视频文件中帧率指定了两帧之间的时长。摄像机通常会限制每秒可以数字化的帧数，这一属性并不是很重要，因为无论什么时候摄像机看到的只是当前世界的一个瞬间。
我们想要直到视频转换操作是多么细微，所以我们需要一个系统来逐帧检查相似性或差异性。最常见的算法就是PSNR。
假设有两幅图I1和I2，两个维度的大小分别是i和j，由c个通道组成：
MSE的分子值表示一个像素的最大合法值。如果一个简单的图像每个通道的每个像素只有一个字节，那这个值就是255。如果两个图像一样，MSE就会是0，导致公式中的不合法的除0计算。这样PSNR就是无定义的，我们应该将这种情况单独处理。因为像素值的范围可能很大，所以要将结果转换成对数形式。
这个过程我们用double getPSNR(const Mat& I1, const Mat& I2)函数来实现。通常视频压缩的结果值在30和50之间，这个值越高越好。如果图像差别很大，结果可能低于15。
相似性检查很容易，计算很快，然而实际中结果可能和人眼看到的不一样。需要用结构相似性算法来纠正。见Scalar getMSSIM(const Mat& i1,const Mat& i2)函数。对图像的每个通道返回一个相似性索引。这个值在0到1之间，1表示恰好符合。然而高斯模糊代价很高，所以PSNR随着环境实时执行（如24帧每秒），仍会花费更多时间来获取相似性检查的结果。因此源代码在一开始就对每帧执行PSNR，SSIM只对PSNR落后输入值时执行。为了可视化，我们将两图都显示出来并打印出PSNR和MSSIM的值。
#include <iostream> // for standard I/O #include <string> // for strings #include <iomanip> // 控制浮点打印的精度 #include <sstream> // 字符串转数字 #include <opencv2/core/core.hpp> // 基本的OpenCV结构(cv::Mat, Scalar) #include <opencv2/imgproc/imgproc.hpp> // 高斯模糊 #include <opencv2/highgui/highgui.hpp> // OpenCV 窗口 I/O using namespace std; using namespace cv; double getPSNR ( const Mat& I1, const Mat& I2); Scalar getMSSIM( const Mat& I1, const Mat& I2); static void help() { cout << "------------------------------------------------------------------------------" << endl << "This program shows how to read a video file with OpenCV. In addition, it " << "tests the similarity of two input videos first with PSNR, and for the frames " << "below a PSNR trigger value, also with MSSIM." << endl << "Usage:" << endl << "./video-source referenceVideo useCaseTestVideo PSNR_Trigger_Value Wait_Between_Frames " << endl << "--------------------------------------------------------------------------" << endl << endl; } int main() { help(); const string sourceReference = "Megamind.avi", sourceCompareWith = "Megamind_bugy.avi"; int psnrTriggerValue=35, delay=10; char c; int frameNum = -1; // 帧计数器 //用输入的参数创建VideoCapture //首先你可以通过构造函数或open函数为VideoCapture类赋一个源值。如果参数是整数则你可以将这个类绑定到一个摄像机等设备。这里传入的数字就是由操作系统设定的设备的ID。如果只有一个设备连到系统，一般ID就0，将来连入的设备ID依次从这个ID开始增长。如果传入的参数是一个字符串，就是指一个视频文件，字符串就是文件的位置和名称。 //这里我们要做一个相似性检查，VideoCapture构造函数的前两个参数为一个引用和一个测试用例的视频文件，这里我们使用相对地址 VideoCapture captRefrnc(sourceReference), captUndTst(sourceCompareWith); //检查对视频源的绑定是否成功，当对象的析构函数调用时，自动关闭视频。你也可以在关闭前调用release函数。 if (!captRefrnc.isOpened()) { cout << "Could not open reference " << sourceReference << endl; return -1; } if (!captUndTst.isOpened()) { cout << "Could not open case test " << sourceCompareWith << endl; return -1; } // 视频除了帧内容还有带有很多很多的信息,它们通常都是数字，有时可能是很短的字符序列，一般少于4个字节 // 获取这些信息可以使用一个通用的get函数，返回值就包含了这些属性。使用按位操作来从double类型解码出字符，如果有效值只有整型，可以使用类型转换。参数就是一个属性的ID // 如果想要自己控制值，可以用set函数，第一个参数是想要改变的属性的名字（ID），第二个是一个double类型的用于设置的值，如果成功返回true，失败返回false。 // 如captRefrnc.set(CV_CAP_PROP_POS_MSEC,1.2)表示到视频的第1.2秒 // 如captRefrnc.set(CV_CAP_PROP_POS_FRAME,10)表示到视频的第10帧，此时读操作就会从这个位置开始读取帧 //帧大小 Size refS = Size((int) captRefrnc.get(CV_CAP_PROP_FRAME_WIDTH), (int) captRefrnc.get(CV_CAP_PROP_FRAME_HEIGHT)), uTSi = Size((int) captUndTst.get(CV_CAP_PROP_FRAME_WIDTH), (int) captUndTst.get(CV_CAP_PROP_FRAME_HEIGHT)); //检测引用视频和测试视频的帧大小是否相同 if (refS != uTSi) { cout << "Inputs have different size!!! Closing." << endl; return -1; } const char* WIN_UT = "Under Test"; const char* WIN_RF = "Reference"; // 创建窗口 namedWindow(WIN_RF, CV_WINDOW_AUTOSIZE); namedWindow(WIN_UT, CV_WINDOW_AUTOSIZE); cvMoveWindow(WIN_RF, 400 , 0); //750, 2 (bernat =0) cvMoveWindow(WIN_UT, refS.width, 0); //1500, 2 cout << "Reference frame resolution: Width=" << refS.width << " Height=" << refS.height << " of nr#: " << captRefrnc.get(CV_CAP_PROP_FRAME_COUNT) << endl; cout << "PSNR trigger value " << setiosflags(ios::fixed) << setprecision(3) << psnrTriggerValue << endl; //视频的一帧其实就是一个图像，因此我们需要从VideoCapture对象中将它们导出到一个Mat对象中。 //视频流是连续的，可以用read或>>操作符来一个接一个地得到帧内容，这种操作由帧获取和对其应用解码组成，可以显式使用grab和retrieve函数来分两次执行 Mat frameReference, frameUnderTest; double psnrV; Scalar mssimV; for(;;) //显示在窗口中捕获的图像并重复 { captRefrnc >> frameReference; captUndTst.read(frameUnderTest); //如果读取操作获取不到帧，Mat对象可能为空（视频流关闭或读到了视频文件的最后） if (frameReference.empty() || frameUnderTest.empty()) { cout << " < < < Game over! > > > "; break; } ++frameNum; cout << "Frame: " << frameNum << "# "; // / PSNR psnrV = getPSNR(frameReference,frameUnderTest); cout << setiosflags(ios::fixed) << setprecision(3) << psnrV << "dB"; MSSIM / if (psnrV < psnrTriggerValue && psnrV) { mssimV = getMSSIM(frameReference, frameUnderTest); cout << " MSSIM: " << " R " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[2] * 100 << "%" << " G " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[1] * 100 << "%" << " B " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[0] * 100 << "%"; } cout << endl; // Show Image / imshow(WIN_RF, frameReference); imshow(WIN_UT, frameUnderTest); c = (char)cvWaitKey(delay); if (c == 27) break; } return 0; } //相似性检查 double getPSNR(const Mat& I1, const Mat& I2) { Mat s1; absdiff(I1, I2, s1); // |I1 - I2| s1.convertTo(s1, CV_32F); // 不能对8位二进制数平方，要先转化为32位整型 s1 = s1.mul(s1); // |I1 - I2|^2 Scalar s = sum(s1); // 每个通道的元素求和 double sse = s.val[0] + s.val[1] + s.val[2]; // 对通道求和 if( sse <= 1e-10) // 小值返回0 return 0; else { double mse = sse / (double)(I1.channels() * I1.total()); double psnr = 10.0 * log10((255 * 255) / mse); return psnr; } } //相似性检查纠正 Scalar getMSSIM( const Mat& i1, const Mat& i2) { const double C1 = 6.5025, C2 = 58.5225; /***************************** INITS **********************************/ int d = CV_32F; Mat I1, I2; i1.convertTo(I1, d); // 不能对一个字节长度的值计算，先转换为整型 i2.convertTo(I2, d); Mat I2_2 = I2.mul(I2); // I2^2 Mat I1_2 = I1.mul(I1); // I1^2 Mat I1_I2 = I1.mul(I2); // I1 * I2 /*************************** END INITS **********************************/ Mat mu1, mu2; // PRELIMINARY COMPUTING GaussianBlur(I1, mu1, Size(11, 11), 1.5); GaussianBlur(I2, mu2, Size(11, 11), 1.5); Mat mu1_2 = mu1.mul(mu1); Mat mu2_2 = mu2.mul(mu2); Mat mu1_mu2 = mu1.mul(mu2); Mat sigma1_2, sigma2_2, sigma12; GaussianBlur(I1_2, sigma1_2, Size(11, 11), 1.5); sigma1_2 -= mu1_2; GaussianBlur(I2_2, sigma2_2, Size(11, 11), 1.5); sigma2_2 -= mu2_2; GaussianBlur(I1_I2, sigma12, Size(11, 11), 1.5); sigma12 -= mu1_mu2; / FORMULA Mat t1, t2, t3; t1 = 2 * mu1_mu2 + C1; t2 = 2 * sigma12 + C2; t3 = t1.mul(t2); // t3 = ((2*mu1_mu2 + C1).*(2*sigma12 + C2)) t1 = mu1_2 + mu2_2 + C1; t2 = sigma1_2 + sigma2_2 + C2; t1 = t1.mul(t2); // t1 =((mu1_2 + mu2_2 + C1).*(sigma1_2 + sigma2_2 + C2)) Mat ssim_map; divide(t3, t1, ssim_map); // ssim_map = t3./t1; Scalar mssim = mean(ssim_map); // mssim = ssim map的平均值 return mssim; } 结果：
