关于视频PSNR的评测标准疑问~

最近对传输丢包的视频做PSNR/SSIM分析，找了一些开源的PSNR/SSIM实现进行计算，发现人眼观察到至少还原95%质量视频的PSNR竟然只有15左右（SSIM只有0.39）！于是探究了一下，发现PSNR/SSIM计算是以帧为单位逐帧比较，然后计算的平均值作为视频质量的最终值。但是如果接收视频相对于原视频中间有丢失的帧、混乱的帧，PSNR/SSIM在做分析的时候如果只是按照次序进行N-N的对应位置进行比较分析，那么就可能出现很大差异啊！

举个例子，接收视频第6帧丢失了，那么和原视频比较的时候，PSNR/SSIM就会拿接收视频的第7帧当做第6帧和原视频的第6帧进行比较，PSNR、SSIM值不就可能很低吗？我用码流分析工具分析了一下似乎也验证了这个观点。

我么以SSIM值为例，在测试中，实际前20帧PSSIM如下：
1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.909 1.000 1.000 1.000 0.527 0.601 0.499 0.609 0.483 0.485 0.497
我们看到，从第13帧（0帧开始）质量急剧下降，但是实际视频效果很正常，我看了一下码流分析结果：

从13帧开始Dispaly order已经发生变化，而且从帧顺序看，接收的视频随后是2个B帧，而原视频只有3个B帧，也就是说从13帧开始，帧的对应信息已经发生错乱，进而导致后续的帧SSIM值都很低！最后的确，接收的视频帧只有268个，原视频300个，程序也就是在268个计算完成后就完成了，整个视频SSIM也很低，只有0.39！


所以，PSNR/SSIM在计算的时候是怎么样的？如果接收端视频中间丢了几帧，但是实际观感并不影响的话，那这个数据不是太扯了？或者我的程序有问题？