默认
发表评论 0
想开发IM:买成品怕坑?租第3方怕贵?找开源自已撸?尽量别走弯路了... 找站长给点建议
深度学习再掀新篇,图鸭图片压缩TNG 将节省55%
阅读(24543) | 评论(0 收藏 淘帖
近年来,深度学习在计算机视觉领域已经占据主导地位,不论是在图像识别还是超分辨重现上,深度学习已成为图片研究的重要技术;现在深度学习技术已进入图片压缩领域。今天就和大家说一下,图鸭研发的以深度学习为内核的图片压缩黑科技——Tiny Network Graphics(TNG)。

何为TNG?

TNG是图鸭科技一款以深度学习为内核的图像压缩技术,在保证图片质量的情况下,通过算法尽可能降低图片的大小,帮助图片类企业节约大量的带宽成本。
相比目前市面上的图像压缩技术,图鸭TNG采用了深度学习卷积网络(CNN)的编码方式,与JPEG相比,压缩率提升了122%;WebP相比,压缩率提高了30% 。而且相比BPG/HEIF等图片格式TNG采用CNN技术而非HEVC编解码器,避免高昂的专利费用。

[H2]TNG中的深度学习算法运用[/H2]
TNG采用的算法是深度学习技术中的卷积神经网络(CNN)。卷积神经网络是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围,适合大型图像处理。
深度学习再掀新篇,图鸭图片压缩TNG 将节省55%_图片1.png

上图是卷积神经网络示意图,卷积神经网络就像搭积木一样;一个卷积神经网络由卷积、池化、非线性函数、归一化层等模块组成。最终的输出根据应用而定,比如现在大火的人脸识别领域,工程师们通过CNN来提取一串特征来表示人脸图片,对特征进行异同的比较就是人脸识别。
深度学习图像压缩完整的框架包括CNN编码器、量化、反量化、CNN解码器、熵编码、码字估计、码率-失真优化等几个模块。编码器的作用是将图片转换为压缩特征,解码器则是通过压缩特征恢复出原始图片。其中编码器和解码器,可以用卷积、池化、非线性等模块进行设计和搭建。

深度学习再掀新篇,图鸭图片压缩TNG 将节省55%_图片2.png
图2 深度学习图片压缩框架

除了上述提到的卷积神经网络,在TNG里,图鸭采用了量化与反量化的技术。通过量化的技术,将浮点数转换为整数或二进制数,如去掉浮点数后面的小数;这个方法可以节省像素所占比特数,以便减少图片大小。与之对应,在解码端,使用反量化技术将变换后的特征数据恢复成浮点数,如给整数加上一个随机小数,这样可以一定程度上降低量化对神经网络精度的影响,从而提高恢复图像的质量。

深度学习设计图片压缩算法的优势

图鸭科技通过深度学习技术研发的图片压缩TNG在内部的测试上,其整体的压缩效果已经超过WebP与BPG,下图是在kodak24标准数据集上测评结果,分别是PSNR值与MS-SSIM值。

深度学习再掀新篇,图鸭图片压缩TNG 将节省55%_图片3.png          深度学习再掀新篇,图鸭图片压缩TNG 将节省55%_图片4.png
图 3 图4在kodak24标准数据集上测评结果,上图为PSNR结果,下图为MS-SSIM的结果

熟悉图像压缩的朋友可以直接通过PSNR和MS-SSIM值看出:TNG的PSNR值与MS-SSIM值明显高于WebP、jpeg2000和jpeg;除此之外TNG在高码字的情况下PSNR值高于BPG,且其MS-SSIM值基本一致高于BPG

下面将分析几组测试图片,主要是TNG与WebP、BPG的压缩效果对比

1在低码字情况下TNG与WebP压缩效果对比


深度学习再掀新篇,图鸭图片压缩TNG 将节省55%_图片5.png        深度学习再掀新篇,图鸭图片压缩TNG 将节省55%_图片6.png
图5图6 低码字情况下TNG与WebP压缩效果对比 左图为TNG  右图是Webp

相比TNG,WebP尽管保留了更多的细节,但是其失真更多,不利于后期恢复;而TNG采用了保边滤波的方法,让其失真更少,图像后期恢复明显优于WebP

2在高码字情况下TNG与BPG对比


深度学习再掀新篇,图鸭图片压缩TNG 将节省55%_图片7.png        深度学习再掀新篇,图鸭图片压缩TNG 将节省55%_图片8.png


深度学习再掀新篇,图鸭图片压缩TNG 将节省55%_图片9.png        深度学习再掀新篇,图鸭图片压缩TNG 将节省55%_图片10.png

图7图8  高码字情况下TNG与BPG压缩效果对比,其中左边两图为TNG,右图为BPG

上面4幅图是高码字的情况,在实际的测试中,BPG会出现第二张图所示的块状——高频失真导致的振铃效应;以及第四张图所示的颜色失真情况;而反观TNG其基本不会出现这类的失真状况。

振铃效应是因为BPG在编码压缩时尽管图片的不同块内容不一样,但采用了同一编码参数,而导致的图像退化中信息量的流失,尤其是高频信息的丢失。颜色失真是因为BPG在编码图片时,其YUV通道是分开进行编解码,产生了一些色差。

而TNG在编码时考虑到了整体图片的情况,采用了同一编码,也就避免了上述的情况。可见相比之下,在细节上,TNG所用图片压缩算法更好。

3在低码字的情况下TNG与BPG的对比


深度学习再掀新篇,图鸭图片压缩TNG 将节省55%_图片11.png        深度学习再掀新篇,图鸭图片压缩TNG 将节省55%_图片12.png
图11图12低码字情况下TNG与BPG压缩效果对比,左图TNG右图BPG

在低码字的情况下,BPG压缩图片中出现了伪轮廓和块效应等问题,整个图片的连续性比较差;而TNG的图片连续性和物体的轮廓保持的更好。

总结


目前图鸭TNG相比JPEG,其可节省55%码字,换句话说,如果一家图片企业之前使用的是JPEG,现在换成TNG后,将节省55%的图片带宽。总体而言,借助于深度学习设计图像压缩算法是一项非常具有挑战性和发展前景的技术。

附上图鸭TNG测试链接:http://www.tucodec.com/picture/index





即时通讯网 - 即时通讯开发者社区! 来源: - 即时通讯开发者社区!

推荐方案
打赏楼主 ×
使用微信打赏! 使用支付宝打赏!

返回顶部