saber酱的抱枕

Fly me to the moon

03/15
17:15
软件

尝试用软件放大视频(超分辨率)

用 Waifu2x-Extension-GUI 放大视频

在之前发布的 2 月里番的文章里,我最喜欢的是金发巨乳可爱少女的那部(そしてわたしはセンセイに…… ~めげないブルマ~),之后我发现它在 2021 年 11 月有一部前作(そしてわたしはセンセイに……_~脇の下のアイツ~),但是当时我看完直接删了。

我把前作又下载回来,看了下确实观感不行。其实它的画面并不算贫穷,人设、画风也没啥区别,问题在于画质不行,即使我下载了 RAW 视频也是如此,画面依然一眼糊。

我想起了视频超分辨率技术,之前试过 NVIDIA 的 RTX VSR,但是它只能在浏览器里用。我想找个本地软件可以转换视频然后保存的,搜索一番用 Waifu2x-Extension-GUI 试了试。

Waifu2x-Extension-GUI:https://github.com/AaronFeng753/Waifu2x-Extension-GUI


放大视频

我把原视频拖进来,1920x1080,24FPS,放大 2 倍(4K),不补帧:

用 Waifu2x-Extension-GUI 放大视频

我想把视频放大到 4K 然后再压缩到我符合我屏幕分辨率的 1440p。

软件里的很多设置都有提示,把鼠标放上去就会显示提示。

在引擎设置里可以修改引擎参数,我只增加了块大小(占用更多显存来提高速度)。

用 Waifu2x-Extension-GUI 放大视频

模型下拉框里除了 upconv 7 还有另一个,但是那个慢得多,所以没必要改。

TTA 好像可以开来着?不过我没试。

在视频设置界面我进行了如下设置:

用 Waifu2x-Extension-GUI 放大视频

开启分段处理视频,这样在最终阶段放大视频时会分段处理,相比不分段,可以降低在硬盘上储存的临时文件的体积(就是少量多次的效果)。

开启硬件加速编码,我使用了 NVENC,根据以前转码视频的经验,Intel QSV 的画质会更好但是速度比较慢,所以我没选 QSV。

开启动态内存缓冲,这会创建一个内存盘,这样软件在转换过程可以会把一些数据放到内存盘里(而非硬盘),这可以提高速度并避免硬盘损耗。

把这个 1080p 的视频放大到 4K,内存盘设置为 4 GB 就够用了。

我设置 8 GB 是因为之前放大倍率设置错了,当时设置成了放大到 8K,结果 8 GB 还不够用,后来只好关闭这个设置改用硬盘。根据报错时的日志进度估计,这个视频放大到 8K 估计需要 15 GB 的内存盘。

用 Waifu2x-Extension-GUI 放大视频

内存盘空间不够用的话就会报错终止任务,报错信息如下:

用 Waifu2x-Extension-GUI 放大视频

设置好之后在主界面点击“开始”按钮,开始转换。

软件会在视频原目录里生成一些临时文件(也有可能保存在内存盘里)。

转换过程中主要有几个耗时较长的阶段:

首先是把视频转换成 CFR mp4:

用 Waifu2x-Extension-GUI 放大视频

在视频文件夹里会生成对应文件。

用 Waifu2x-Extension-GUI 放大视频

然后是放大进度第一阶段。什么意思呢?看日志:

用 Waifu2x-Extension-GUI 放大视频

这里会显示放大进度,但是后面还有个时长进度(0/1451s)。现在的放大只是一个中间过程(疑似是只放大关键帧),时长进度不会增加。等这次放大进度走完了才会开始真正生成视频,增加时长进度。

这时会产生大量临时数据。如果开启了动态内存缓冲,需要注意内存盘空间够用,避免转换失败。

这次放大进度走完之后,会把生成的放大片段再合并一次,再生成一个 CFR mp4 文件:

用 Waifu2x-Extension-GUI 放大视频

之后是最终的放大进度,此时时长进度也会增加:

用 Waifu2x-Extension-GUI 放大视频

上图是放大到 8K 时的截图,因为波形很有趣。放大到 4K 的话 CPU 使用率会降低很多。

如果前面开启了“视频分段处理”,软件每次会放大指定长度的视频,处理完成后增加时长进度,再开始放大下一段。

这个阶段也会生成临时文件,不过分段之后不会占用很多空间。

此时等待完成就可以了,我放大到 4K 花了一个小时多点,放大到 8k 花了接近 7 个小时。

用 Waifu2x-Extension-GUI 放大视频

(它显示的剩余时间可能并不完全准确,以具体时间为准)


对比效果

我使用转换完的 8K 视频和原 1080p 视频进行对比。把它们都用 Potplayer 播放并放大到全屏(2560x1440)。

效果确实是有的,线条变清晰了,杂色也减少了很多。局部对比:

左原 ← → 右新
用 Waifu2x-Extension-GUI 放大视频用 Waifu2x-Extension-GUI 放大视频

下面是一些全屏截图对比,上旧下新:

用 Waifu2x-Extension-GUI 放大视频

用 Waifu2x-Extension-GUI 放大视频


用 Waifu2x-Extension-GUI 放大视频

用 Waifu2x-Extension-GUI 放大视频


用 Waifu2x-Extension-GUI 放大视频

用 Waifu2x-Extension-GUI 放大视频

如果盯着局部进行对比,很容易看出来新的确实清晰了一些。

但是同步播放两个视频时,我尴尬的发现,在实际观看时我是不会盯着局部去对比的。而从画面整体上看的话,很难感受到画质的提升。偶尔一些镜头才会有较为明显的感知。

为什么呢?我觉得放大后的视频相比原视频,整体上依然没能改变那种“低分辨率放大产生的模糊感”的观感。

原视频真的很拉,我严重怀疑原视频所谓的 1080p 就是从 720p 放大的。

最后我删除了放大后的视频。

ps:现在我是在 1440p 屏幕上进行的对比,我猜测如果在 4K 甚至 8K 屏上进行对比,那么放大后的视频应该能和原视频进一步拉开差距,因为 1080p 视频放大越多它原本糊的地方就会越明显。


PS:我后来看到了 B 站开源的一个视频放大软件:

Real-CUGAN:https://github.com/bilibili/ailab/tree/main/Real-CUGAN

但是鉴于原视频的模糊感难以拯救,我没有再尝试。

想让放大后的效果好,还是需要原视频质量尚可才行。

增加饱和度

我想起第二集里有第一集的重复画面,但是第二集观感比第一集好得多,我何不对比一下呢?

我找到了同一个画面,第一集里是这样的:

用 Waifu2x-Extension-GUI 放大视频

第二集里:

用 Waifu2x-Extension-GUI 放大视频

整个一画质大提升啊!一方面第二集的线条比第一集清晰锐利很多(所以我越发怀疑第一集是从 720p 放大的),另一方面第二集的色彩饱和度高,颜色干净又生动,但第一集的饱和度偏低,不管什么颜色都泛白,看着没有生气,缺乏吸引力。

我把第一集画面的饱和度提高,结果观感马上好了很多:

用 Waifu2x-Extension-GUI 放大视频

(虽然有点过饱和的嫌疑但是问题不大)

这是第一集里的另一个画面:

用 Waifu2x-Extension-GUI 放大视频

加强饱和度之后,观感立刻大提升:

用 Waifu2x-Extension-GUI 放大视频

看来相比起费劲提升它的清晰度,直接调整色彩是最简单又有效的。

Potplayer 在播放时按快捷键 U 就可以增加饱和度。

尝试用软件放大视频(超分辨率)

  1. Google Chrome 111Google Chrome 111WindowsWindows

    巧了,我其实也做过了关于视频、图片超分辨率的教程,当时的网络是Real-ESRGAN,具体原理就是先用ffmpeg切帧,然后一帧一帧超好,然后再用ffmpeg合成,效果很好,但是很伤硬盘空间,一个1分钟的短片要用去10G,saber酱有空来看看https://space.bilibili.com/12764212

    回复
  2. 233
    Google Chrome 108Google Chrome 108WindowsWindows

    可以用mpv播放器配合anime4k,实现本地播放器的实时播放超分辨率,可惜只对2d动画有显著效果,其他的用起来会失真
    生成超分辨率视频的话,我用Topaz Video Enhance AI搞过一个480p的视频放大到1080P,感觉还不错。有多个选项,各类视频都能放大。不过也有失真的问题,毕竟480P的原视频就很糊

    回复

评论 233 撤销评论