基于学习的编码（二）：使用CNN对intra frame进行环路滤波_环路滤波特征提取聚类-程序员宅基地

技术标签： H.266/VVC VVC CNN 环路滤波视频编码 h.265/hevc VTM

基于学习的编码（二）：使用CNN对intra frame进行环路滤波

本文算法来自JVET-O0157

介绍

为了取代VVC环路滤波中的去方块滤波（DBF）提出来一种下采样的CNN滤波器。该CNN滤波器在降低神经网络复杂度的同时能保持编码效率。它是一个轻量级CNN网络，能够高效的控制CNN滤波强度以应对不同量化参数。只用于intra frame。

滤波过程

下图展示了针对intra frame加入CNN后的环路滤波过程，DBF被CNN替换了。对于inter frame环路滤波和VTM中一样。

网络结构

下图展示了该CNN的网络结构。其中N表示下采样步长，M表示卷积核通道数。核心思想是通过下采样减少计算量，通过控制强度使单个网络可以用于不同QP。

CNN过程：

(N,N,M)卷积层（N倍下采样）用于提取特征。
将特征传给多个residual block来加强滤波。
(3,3,NxN)卷积层输出NxN的特征图，DepthToSpace 函数将特征图映射为和输入图像尺寸一致。

滤波强度

网络中除以和乘以Qstep 的目的是控制滤波强度。

对不同Qstep 进行round操作会造成不同水平的失真。所以重建图像在传给CNN之前除以正则化的Qstep 来控制失真水平，CNN处理后乘以正则化的Qstep。

正则化的Qstep求解过程如下：

训练

使用DIV2K数据集（含800幅图像）生成训练数据。首先将每幅图像由RGB转为YUV。然后禁用VTM5.0的环路滤波在All Intra(AI)配置下生成重建图像。然后在Y分量随机裁剪800000块，UV分量随机裁剪800000块，训练两组参数。

实验结果

下面是N=4，M=32下的测试结果：

下面是一个主观比较，可以看到脖子处的块效应被消除了。

该方法在VTM5.0中用预训练的CNN模型取代DBF，在AI配置下Y、U、V的BD-Rate分别-1.44%，-2.51%，-3.39%。解码时间为1040%。

感兴趣的请关注微信公众号Video Coding

本文链接：https://blog.csdn.net/Dillon2015/article/details/106846889

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

十大企业数字化转型成熟度评价模型-程序员宅基地

文章浏览阅读47次。摘要：数字化转型是企业在数字化环境下进行的全方位变革和创新，旨在提升企业的竞争力和适应能力。在这个过程中，企业的数字化成熟度评估变得尤为重要。本文将介绍一种名为"十大企业数字化转型成熟度评价模型"的评估框架。该模型基于对众多企业数字化转型案例的研究和实践经验，综合考虑了企业的战略、组织、技术和文化等方面的因素。企业数字化转型成熟度评价模型应该根据企业的不同属性进行选择和参考。不同行业、规模和发展阶...

拓扑排序 / 家谱树-程序员宅基地

文章浏览阅读387次，点赞10次，收藏9次。【代码】拓扑排序 / 家谱树。

小程序富文本rich-text、数组拼接、包含特殊符号处理-程序员宅基地

文章浏览阅读6.5k次。先说一下rich-text的实现,很简单html<rich-text nodes="{{myrich}}"></rich-text>js 注意：里面不能用view 否则运行不出来,可以用html的标签，详细见文档 https://developers.weixin.qq.com/miniprogram/dev/component/rich-text.html......_rich-text

wifi相关工具移植_编译wifi工具-程序员宅基地

文章浏览阅读321次。Linux：交叉编译WiFi工具iwconfig（wireless tools）、iw、wpa_supplicant、DHCP、hostapd（文末附使用方法）_编译wifi工具

itext使用模板生成pdf文件_itext 通过 pdf 模板生成 pdf,动态列表-程序员宅基地

文章浏览阅读1.1w次。用pdf模板生成pdf文档很简单，首先需要手动做个pdf模板，上面有很多的类似html里的text域的东西，给他们起好名字，在程序里填充就可以了。虽然由于不会做模板（实际上由于短时间无法去熟悉使用Adobe Acrobat ）而没有用到此篇文章（转载的别人的）（只好手动生成），但是感觉写的还是不错的。贴出来，以便将来用到了查看。首先要定义一个DataBean接口,代码如下：pu_itext 通过 pdf 模板生成 pdf,动态列表

论文工具——ChatGPT结合PlotNeuralNet快速出神经网络深度学习模型图_gpt4 使用plotneuralnet编码生成图片-程序员宅基地

文章浏览阅读1.9k次。* PlotNeuralNet是一个带有python借口的latex包，能够生成任何你需要的神经网络的可视化图片。生成的图片质量很高，可以用于课程汇报，或者学术论文。* 你可以直接使用latex编译程序，编写相关的代码，自动会生成对应的图片。我一般是使用overleaf写的latex代码，线上可以直接渲染，并下载对应的pdf文件_gpt4 使用plotneuralnet编码生成图片

随便推点

pyqt5中sender方法介绍_PyQt5系列教程（21）：标签（QLabel）-程序员宅基地

文章浏览阅读775次。上期我们介绍了PyQt中的液晶显示屏(QLCDNumber)，这期我们介绍一下PyQt中常用的一个小部件标签(QLabel)。总体介绍QLabel小部件提供文本或图像显示。QLabel用于显示文本或图像。没有提供用户交互功能。标签的外观可以通过各种方式进行配置，可以用于指定另一个小部件的焦点助记键。QLabel可以包含以下任何内容类型：当使用任何方法改变内容时，任何先前的内容都被清除。警告：当在Q..._pyqt5 sender

高精度色选机系统的项目实现_色选机软件系统-程序员宅基地

文章浏览阅读279次。随着我国色选机产业的不断发展，以及粮食、矿产、再生资源等行业的机器智能化程度的提高，国内主要的色选机研制企业都在谋求生产规模的扩大，与此同时，国外著名色选企业也在大举进入国内市场。本项目旨在通过技术创新和实际应用，研发一款高精度色选机，为目标行业提供先进的色选解决方案，在农产品种类繁多、品质要求严格的生产环境中，高效、准确地实现对农产品的色彩分选，提高生产效率，减少人工成本，降低人为误差，从而提升农产品的质量和附加值，在目标行业中取得显著的经济和社会效益，推动行业的数字化转型和智能化升级。_色选机软件系统

Android 开发三年，跳槽大厂无望，意外获得《Android面试宝典》助我跳槽字节、薪资翻倍-程序员宅基地

文章浏览阅读778次，点赞21次，收藏20次。每一个移动开发者都在为 Flutter 带来的“快速开发、富有表现力和灵活的 UI、原生性能”的特色和理念而痴狂，从超级 App 到独立应用，从纯 Flutter 到混合栈，开发者们在不同的场景下乐此不疲的探索和应用着 Flutter 技术，也在面临着各种各样不同的挑战。通过此工具开发的程序直接在本地运行，而不是虚拟机。，尤其是非计算机专业的同学，面试官一上来肯定是问你基础，要是基础表现不好很容易被扣上基础不扎实的帽子，常见的就那些，只要你平时认真思考过基本上面试是没太大问题的。