梦璃
梦璃

[S5番外]Topaz Video Enhance AI视频处理软件教程

原创教程 S541 - 9

封面

简介

Topaz AI系列是目前最流行的AI图像/视频处理商业软件。其中最知名的当属Gigapixel AI和Video Ehance AI了。主要功能是把图片/视频放大,或者叫超分辨率,720P拉到4K这种。

感觉Topaz AI应该也是SRCNN(基于深度卷积神经网络的图像超分辨率)这篇论文的应用,大家熟悉的Waifu2X也是参考了这篇论文给AI喂了一堆低清gal图片和高分辨原图做对比,让AI学习如何放大和降噪,最后得到一个适合放大二次元图片的模型(方法)。

Topaz作为一个商业公司,他们训练AI的强度远超个人和大学实验室,模型迭代得非常快,种类也增加很多。所以,我并不推荐为了用汉化而使用旧版Topaz软件。

目前破解版的最高版本是2.3.0,已和官方最新正式版同步了,在这个版本中加入了视频补帧和升格模型,加上目前已经有的放大、降噪、反交错(去隔行)、抗锯齿、去光环,功能已经很全了。预计未来会加入去水印,去路人的功能(个人猜测)。最新版破解我已经附在底部的下载按钮里了,如果你真的需要汉化,花30去水墨轩买(不推荐,我接下来会把软件界面全部讲解一遍)

和其他的AI软件一样,最好使用N卡(GTX600系及以后的),显存至少2G,AI还是比较吃显存的。

但和其他AI软件不一样的是,Topaz AI不但支持A卡、核显、还能用CPU跑,不过用CPU极慢。

操作流程

根据压缩包里的安装方法.txt完成安装和破解后,第一次运行时Topaz会对电脑进行一次测试,自动选择合适的显存配置。

把视频文件拖拽到Topaz Video Enhance AI里即可导入视频。

接下来从右侧的窗口讲起

模型选择器是2.3.0的新功能,通过用户选择视频质量、类型、瑕疵来给出使用何种模型的建议。

个人不建议使用Suggested选项卡,部分选项有迷惑性。唯一的优点是能使用compare同时预览对比三种模型。

推荐直接点All选项卡,选择模型:

如图所示,看上去这么多模型,实际能用上的也就只有Artemis MQ和LQ以及最后一个用于补帧的模型。

美脚对魔忍雪风那部我就使用的Artemis LQ,因为需要大力度降噪。而SF155这种用全画幅微单拍摄,本身没什么噪点,但因为使用的是DVD源以及经过网络压缩后,变得非常模糊。这种片源用MQ来进行处理是最合适的。

不知道为什么,我一用2.3.0的Dione系列模型就会闪退,2.1.1就不会。不过反交错我也不用AI做,所以无所谓了。


用鼠标拖动进度条上的蓝色箭头,选择到想要预览的片段,点击预览。

确定是满意的效果及处理速度后,关闭预览,我们就可以点击开始处理了。

处理时,会一直播放处理中的画面,进度条下方会显示当前速度和剩余时间

AI的优势与不足

优势当然很明显了,AI的降噪力度非常大(甚至顺便磨了皮),图像放大的同时还提升了画面锐度,这是常规算法做不到的。

AI对于物体边缘的识别相当准确,修复出来的线条很有辨析度。

缺点嘛,首先就是速度了,480P拉到720P,用3050Ti只有0.25秒/帧左右的速度,也就是说我要花视频时间的7.5倍时间进行处理。目前的解决办法就是只对一些画质非常差、必须要用AI的片段进行处理。像cos星其实只有用那台CMOS 1/5.8寸的DV拍的镜头画质极差,另一台DV拍的画面只要常规算法降噪就够纯净了。在Topaz AI中设置起始帧和结束帧即可完成片段的选取。多个视频片段拼成一个完整的视频的方法我在今后的教程里会介绍。

另外就是AI算出的画面有时候会无中生有,例如上图的给皮肤加上奇怪的纹理。好在这种纹理能通过常规降噪方法去除。而有时候,AI会把一些细节当作噪点抹去,成片就看着很奇怪。例如下图右边的美脚白丝。

我对于这个镜头,是先用AI处理完,再用常规降噪对原片处理一遍,最后在Pr里给白丝画遮罩,让白丝部分使用常规降噪的画面。

最后一个比较大的问题涉及到颜色矩阵(colormatrix),已知宽度小于等于576像素的视频为标清(SD),大于576像素的为高清(HD),播放器会使用BT.601颜色矩阵显示SD视频,用BT.709显示HD视频。所以视频在从SD放大到HD的时候,应该要进行一次颜色矩阵转换,从601转成709,不然画面的颜色会不正确。红色会变淡,人物肤色会发黄。而Topaz AI并没有进行这个转换(预览窗口里看的颜色正常,但成片就是错的),需要我们自己转换一次。

从上图可以看出,壁纸上的红色三角和布莱默顿的头发都被AI变得颜色淡了,皮肤也稍黄了。其实选择SF155布莱默顿这个片子作为演示,很大原因是因为她的发色更容易观察这种色差。

对AI出的片使用VapourSynth进行颜色矩阵转换、降噪、去色带后用X265编码器压制得到成片。不但修复了颜色bug,腿上类似鸡皮疙瘩的纹理也被抹去了,因为用了10bit色深,颜色过渡更加自然。

总结

Topaz Video Enhance AI确实在很多方面超越传统滤镜(filter),但由于时间复杂度过高以及存在的一些bug,目前无法成为后期处理的主要方法。所以AI还是应该当作一个最终手段,或者说当作后期处理可选的一环,想要正确进行后期还需要学习很多知识,这也是我把这篇AI教程当作整套教程的番外篇的原因。期待我的后续教程吧。

PS:对于里番来说,Waifu2X更加适合,由于可以作为VapourSynth的插件使用,效率比Topaz AI快很多。

对于一些本身分辨率就有1080P的片子,如果只是想降噪,为了加快速度,可以把先用小丸工具箱等软件先压一份把分辨率降到720P甚至540P再用AI放大到1080P,比直接1080P降噪要快2倍,画面锐度也差不多。

梦璃 2019-2021 站长:小火

友情链接与合作请戳我

其他联系方式