基于学习的编码（二）：使用CNN对intra frame进行环路滤波_Dillon2015的博客-程序员宅基地

技术标签： H.266/VVC VVC CNN 环路滤波视频编码 h.265/hevc VTM

基于学习的编码（二）：使用CNN对intra frame进行环路滤波

本文算法来自JVET-O0157

介绍

为了取代VVC环路滤波中的去方块滤波（DBF）提出来一种下采样的CNN滤波器。该CNN滤波器在降低神经网络复杂度的同时能保持编码效率。它是一个轻量级CNN网络，能够高效的控制CNN滤波强度以应对不同量化参数。只用于intra frame。

滤波过程

下图展示了针对intra frame加入CNN后的环路滤波过程，DBF被CNN替换了。对于inter frame环路滤波和VTM中一样。

网络结构

下图展示了该CNN的网络结构。其中N表示下采样步长，M表示卷积核通道数。核心思想是通过下采样减少计算量，通过控制强度使单个网络可以用于不同QP。

CNN过程：

(N,N,M)卷积层（N倍下采样）用于提取特征。
将特征传给多个residual block来加强滤波。
(3,3,NxN)卷积层输出NxN的特征图，DepthToSpace 函数将特征图映射为和输入图像尺寸一致。

滤波强度

网络中除以和乘以Qstep 的目的是控制滤波强度。

对不同Qstep 进行round操作会造成不同水平的失真。所以重建图像在传给CNN之前除以正则化的Qstep 来控制失真水平，CNN处理后乘以正则化的Qstep。

正则化的Qstep求解过程如下：

训练

使用DIV2K数据集（含800幅图像）生成训练数据。首先将每幅图像由RGB转为YUV。然后禁用VTM5.0的环路滤波在All Intra(AI)配置下生成重建图像。然后在Y分量随机裁剪800000块，UV分量随机裁剪800000块，训练两组参数。

实验结果

下面是N=4，M=32下的测试结果：

下面是一个主观比较，可以看到脖子处的块效应被消除了。

该方法在VTM5.0中用预训练的CNN模型取代DBF，在AI配置下Y、U、V的BD-Rate分别-1.44%，-2.51%，-3.39%。解码时间为1040%。

感兴趣的请关注微信公众号Video Coding

本文链接：https://blog.csdn.net/Dillon2015/article/details/106846889

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

在ubuntu中运行exe文件_iteye_3753的博客-程序员宅基地

exe文件执行是要依靠Windows系统的库，linux系统肯定不支持。不过如果你在linux安装Wine软件，可以安装运行一般小型的Windows程序。Wine的安装;1. 安装 wineubuntu 官方自带了 wine ，但是推荐用 winehq 官方提供的最新版本 wine ，新版本解决了很多以前显得麻烦的问题，请照下边说的来安装先增加签名::wget -q http://wine....

计算两个日期之间，相差多少天C语言详解_cdhuangjin-的博客-程序员宅基地

问题描述：如2019-12-27与2017-11-7，相差780天。编译环境：vc++6.0代码：#include <stdio.h>/*计算两个日期之间相差多少天*/struct date{ int years; int months; int days;};int days_on_month[13] = { 0,31,28,31,30,31,30,31,3...

Adblock Plus 下载 | Google 插件下载_小浩算法的博客-程序员宅基地

作用下载人数全球超过5000万人都在使用adblock plus，这个chrome插件完全免费，能够屏蔽整个互联网广告的插件你见过吗？那就是Adblock Plus！Adblock Plus牛在哪里？在谷歌开发者商店里面有4000万以上的下载！10,000,000+ 位用户！下载地址 ...

Linux 升级openSSH详细教程_啊嘞嘞嘞嘞的博客-程序员宅基地

简书：https://www.jianshu.com/p/1b3d2b7b649a

kettle pdi8.2 连接mysql8_woailyoo0000的博客-程序员宅基地

mysql-connector-java-5.1.41-bin.jar 只支持到5.1的，mysql8的连接只能在pdi8/simple-jndi/jdbc.properties文件中增加如下代码：MYSQL8_DB/type=javax.sql.DataSourceMYSQL8_DB/driver=com.mysql.cj.jdbc.DriverMYSQL8_DB/url=jdbc:mysql://127.0.0.1:3306/kettle?useUnicode=true&chara..

docker 2375无法链接的问题_随风404的博客-程序员宅基地

vim /usr/lib/systemd/system/docker.serviceExecStart修改为以下内容ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix://var/run/docker.sock重启systemctl daemon-reload177 systemctl restart docker178 ...