字节跳动2021新AVG编码优化压缩技术 给视频文件大小缩小了13%

视频是由一张张图片连接起来的动态图像序列，视频编解码则是视频应用的底层核心技术，作用是对图像进行压缩和数字编码，以尽可能小的带宽传送高质量的视频数据。H.266/VVC能够在不影响画质的情况下，把视频码率降低到前一代标准H.265/HEVC的一半。本来只够放标清视频的网速，也能流畅播放高清视频。

此次字节跳动AVG提出的新算法，旨在通过深度学习技术构建减少视频压缩失真的滤波器(DAM)，主干是基于残差单元堆叠的深度卷积网络，辅以自适应模型选择以最大程度适应特性复杂的自然视频。所谓残差单元是指通过引入跳层连接，允许网络把注意力放在变化的残差上，这与视频图像帧之间的残差有异曲同工之妙，比如武林高手决斗，“剑光一闪”，每一帧图像绝大部分内容是相同的，闪动的剑光形成残差，这也是视频编码压缩的重点关注对象。

实验结果显示，相比H.266/VVC最新标准，字节跳动的DAM解决方案能够为视频编码性能带来显著提升，亮度信号Y可实现10.28%的性能增益，两个色度信号U和V，性能增益也分别达到28.22%和27.97%，在视频质量有所优化的同时，至少还可缩小13%的数据体积。

据悉，AVG的各项研究成果，也将通过BVC编码器的升级换代投入应用，包括抖音、西瓜视频、今日头条等 App的视频类内容处理，以及云计算、云游戏等基础架构领域。

根据公开报道，字节跳动AVG在美国加州建立研发团队，成员有来自高通、微软、英特尔等巨头的资深研究员，也有出身海内外顶级院校的新生代。在此前JVET制定新一代国际视频编解码标准H.266/VVC的过程中，字节跳动AVG累计提交260+项技术提案，其中130+项被采纳，被采纳提案数和采纳率均排在世界前列，是H.266/VVC核心算法的主要贡献者之一。