你这个视频背景太假了?

最近相信大家都被一个二创梗刷爆短视频:“你这背景太假了!”。视频中是一位主播“疆域阿力木”在直播时,被网友质疑背景太假,因此他发布了自证清白的视频。

真的不是假背景

但这个视频发布后,再次被网友“二次创作”。由于其搞笑的体质被网友抠出来做到各种视频中,从此引发相关话题也冲上热搜。网友把他P到上天入地,无所不能。

比如:上月球
你这个视频背景太假了?_第1张图片

P到《猫和老鼠》里:
你这个视频背景太假了?_第2张图片

因此,网友一直以为该小伙是在一块绿幕背景中进行直播。说到视频背景太假,让我想到了之前看到过的一个替换背景的AI算法。它能够在原始视频上生成**“高清绿幕背景”,**最高分辨率达4K。
你这个视频背景太假了?_第3张图片

这里我尝试了一下,把原版的“你的背景太假”的视频进行输入,得到了比较好的绿幕结果:

你的背景太假了

当然,该项目也集成了换背景功能,并且目前已经开源。

《Real-Time High-Resolution Background Matting》

先来说说什么是背景替换?

背景替换在电影上是一种用得比较多的技术,而现在Zoom、Google Meet和微软视频会议工具中也开始广泛应用。除了增加娱乐价值外,背景替换还可以增强隐私。想象一下,当你在厕所与别人视频的时候,也不希望对面的人能够看到你在干嘛。因此实时背景替换是一种比较有前景的技术。

在以前的研究中,背景替换技术只能做到512*512的8fps视频。而这篇文章能够做到4K的30fps视频背景替换。这主要的挑战在于:需要计算高质量的蒙版的同时,在实时处理高分辨率图像中保留头发等更为精确的细节。因此这篇文章主要使用了两个网络来实现这个目标。

你这个视频背景太假了?_第4张图片

  • 基础base网络主要对低分辨率图像进行处理。
  • refinement网络则在第一个网络的基础上,基于低分辨率预测结果,从原始图像分辨率选择特定图像块进行处理,重构高分辨率抠图细节。

具体来说,Base网络输入的是原始图像和背景图,并预测输出粗略的 alpha蒙版、foreground residual背景残差、error prediction map以及 hidden feature。而Refinemen网络,则主要是用来降低冗余计算量,它只需要针对error prediction map所选择的图像块进行处理。

我们再来看看这篇文章抠出来的几个效果。

在抠图细节上,对比了其他的模型,可以发现在毛发等细节上会更加清晰明了:
你这个视频背景太假了?_第5张图片

把原始图片进行高像素4K输出:
你这个视频背景太假了?_第6张图片

在实时视频图片上,输出了高精度的抠图视频
你这个视频背景太假了?_第7张图片

同时在视频上,实现实时替换虚拟背景,可以看到,连头发的一些细节都比较还原出来:
你这个视频背景太假了?_第8张图片

最后再说下这个项目地址:
https://github.com/PeterL1n/BackgroundMattingV2

大家可以下载进行试玩,环境搭建可以用到pytorch和tensroflow等。具体可以看它视频的介绍~
https://www.youtube.com/watch?v=oMfPTeYDF9g

这期就到这里了,我是leo,欢迎关注我的公众号/知乎“算法一只狗”,我们下期再见~

你可能感兴趣的